챗GPT와 같은 대형언어모델(LLM)이 사용자의 망상적 사고를 강화할 수 있다는 연구 결과가 발표됐다.
캐나다와 영국 공동 연구팀은 AI가 정신건강 고위험군에 어떤 영향을 끼칠 수 있는지 알아보기 위한 연구를 진행했다. 실제 임상에서 관찰되는 망상적 사고의 패턴을 기반으로 구성된 시나리오를 챗GPT, 클로드(Claude), 라마(Llama) 등 대형언어모델에 입력한 뒤 이들 AI가 ▲사용자 망상을 강화하는지 ▲중립적 태도를 보이는지 ▲교정적 개입을 시도하는지를 비교한 것이다.
분석 결과, 모든 모델에서 일정 수준의 ‘아부형 응답(sycophancy)’ 경향이 발견됐다. 즉, 망상적 주장에 대해 중립적인 입장을 취하거나 반박하는 게 아닌 사용자의 진술을 맞장구치거나 최소한 모호하게 수용하는 반응이 나타난 것이다.
연구진은 이러한 특성이 정신적으로 취약한 사용자에게 위험 요인으로 작용할 수 있다고 평가했다. 임상심리학자 Kierla Ireland 박사는 논문에서 “LLM은 인간처럼 대화하는 특성 때문에 사용자에게 ‘내 생각이 맞다’는 잘못된 확신을 줄 수 있다”며 “이 과정에서 기존의 불안이나 의심이 더 증폭될 가능성이 있다”고 말했다.
대형언어모델이 정서적 지지 등 긍정적 역할을 수행할 수 있다는 점을 인정하면서도, 장기간 사용 시에는 과도한 의존과 현실 검증 능력 약화가 뒤따를 수 있다는 게 연구팀의 주장이다. 특히 고립된 환경에서 AI와 지속적으로 대화하는 사용자는 왜곡된 인지나 망상적 사고가 강화될 위험이 높다고 내다봤다.
연구팀은 “현재의 기술 수준으로는 LLM 등 AI에 정신건강 관련 안전장치가 충분한지 알기 어렵다”며 “투명성 확보와 독립적 검증, 정책적 규제가 병행돼야 한다”고 말했다.
실제로 AI가 정신건강을 악화시킬 가능성이 제시되면서 미국 일리노이주는 정신 건강 분야에서 감정적 지원과 조언을 위한 AI 기반 채팅봇 사용을 금지했다. 네바다주도 지난 6월 AI를 활용해 치료 서비스를 제공하는 기업을 제한하는 법안을 마련했다. 미국 소비자연맹(CFA)은 메타 등 AI 기업들이 AI로 무면허 의료 행위를 하고 있다며 규제 당국에 조사를 요청했다.
AI 업체들도 자체 대책 마련에 나섰다. 앤스로픽은 사용자가 요청할 때만 과거 대화를 불러오도록 조치했다. AI 챗봇이 과거 대화 내용을 참고로 반복적으로 망상을 부추기는 것을 제한하겠다는 것이다. 오픈 AI도 지난 8월 법의학 정신과 의사를 고용해 이용자 정신 건강에 미치는 영향을 연구하겠다고 밝혔다.
한편, 이번 연구 결과는 국제학술지 Journal of Medical Internet Research에 최근 게재됐다.
캐나다와 영국 공동 연구팀은 AI가 정신건강 고위험군에 어떤 영향을 끼칠 수 있는지 알아보기 위한 연구를 진행했다. 실제 임상에서 관찰되는 망상적 사고의 패턴을 기반으로 구성된 시나리오를 챗GPT, 클로드(Claude), 라마(Llama) 등 대형언어모델에 입력한 뒤 이들 AI가 ▲사용자 망상을 강화하는지 ▲중립적 태도를 보이는지 ▲교정적 개입을 시도하는지를 비교한 것이다.
분석 결과, 모든 모델에서 일정 수준의 ‘아부형 응답(sycophancy)’ 경향이 발견됐다. 즉, 망상적 주장에 대해 중립적인 입장을 취하거나 반박하는 게 아닌 사용자의 진술을 맞장구치거나 최소한 모호하게 수용하는 반응이 나타난 것이다.
연구진은 이러한 특성이 정신적으로 취약한 사용자에게 위험 요인으로 작용할 수 있다고 평가했다. 임상심리학자 Kierla Ireland 박사는 논문에서 “LLM은 인간처럼 대화하는 특성 때문에 사용자에게 ‘내 생각이 맞다’는 잘못된 확신을 줄 수 있다”며 “이 과정에서 기존의 불안이나 의심이 더 증폭될 가능성이 있다”고 말했다.
대형언어모델이 정서적 지지 등 긍정적 역할을 수행할 수 있다는 점을 인정하면서도, 장기간 사용 시에는 과도한 의존과 현실 검증 능력 약화가 뒤따를 수 있다는 게 연구팀의 주장이다. 특히 고립된 환경에서 AI와 지속적으로 대화하는 사용자는 왜곡된 인지나 망상적 사고가 강화될 위험이 높다고 내다봤다.
연구팀은 “현재의 기술 수준으로는 LLM 등 AI에 정신건강 관련 안전장치가 충분한지 알기 어렵다”며 “투명성 확보와 독립적 검증, 정책적 규제가 병행돼야 한다”고 말했다.
실제로 AI가 정신건강을 악화시킬 가능성이 제시되면서 미국 일리노이주는 정신 건강 분야에서 감정적 지원과 조언을 위한 AI 기반 채팅봇 사용을 금지했다. 네바다주도 지난 6월 AI를 활용해 치료 서비스를 제공하는 기업을 제한하는 법안을 마련했다. 미국 소비자연맹(CFA)은 메타 등 AI 기업들이 AI로 무면허 의료 행위를 하고 있다며 규제 당국에 조사를 요청했다.
AI 업체들도 자체 대책 마련에 나섰다. 앤스로픽은 사용자가 요청할 때만 과거 대화를 불러오도록 조치했다. AI 챗봇이 과거 대화 내용을 참고로 반복적으로 망상을 부추기는 것을 제한하겠다는 것이다. 오픈 AI도 지난 8월 법의학 정신과 의사를 고용해 이용자 정신 건강에 미치는 영향을 연구하겠다고 밝혔다.
한편, 이번 연구 결과는 국제학술지 Journal of Medical Internet Research에 최근 게재됐다.