오픈AI의 챗GPT가 이용자들에게 자살과 망상을 일으켰다는 이유로 미국에서 7건의 소송에 휘말렸다.
최근 AP통신에 따르면 소셜미디어피해자법률센터와 기술정의법률프로젝트는 성인 6명과 청소년 1명을 대리해 오픈AI를 상대로 캘리포니아주 법원에 소장을 제출했다. 이들은 GPT-4o가 위험할 정도로 이용자에게 아첨을 잘하며 이용자를 심리적으로 조종할 수 있다는 내부 경고가 있었는데도 출시됐다며, 오픈AI가 위법행위에 의한 사망, 조력 자살, 과실 치사 등에 책임이 있다고 주장했다. 피해자 중 4명은 스스로 생을 마감한 것으로 알려졌다.
소장에 따르면 청소년인 아모리 레이시(17)는 도움을 받으려고 챗GPT를 사용했지만, 중독과 우울증에 시달리게 됐다. 챗GPT는 급기야 그에게 올가미를 매는 효과적인 방법이나 숨을 쉬지 않고 얼마나 오래 살 수 있는지 등에 대해 조언했다. 소장은 “아모리의 죽음은 사고나 우연이 아니다”며 “오픈AI와 (최고경영자인) 샘 올트먼이 안전성 테스트를 축소하고 시장에 급히 출시하기로 한 고의적 결정에 따른 예측 가능한 결과”라고 했다.
소셜미디어피해자법률센터의 창립자인 매슈 버그먼 변호사는 성명에서 “이번 소송은 이용자 참여율과 시장 점유율을 높이기 위해 도구인지 동반자인지 경계가 모호하게 설계된 상품에 책임을 묻기 위한 것”이라며 “오픈AI는 GPT-4o를 설계하면서 연령, 성별, 배경과 무관하게 이용자를 정서적으로 얽매이게 했으며 이용자를 보호할 안전장치 없이 출시했다”고 지적했다.
AI 챗봇을 매개로 한 피해 사례는 계속되고 있다. 캘리포니아주의 청소년 애덤 레인(16)이 챗GPT의 도움으로 지난 4월 목숨을 끊자 부모는 지난 8월 소송을 제기했다. 지난해 10월에는 플로리다주의 10대가 ‘사랑한다’는 메시지를 주고받은 챗봇과 사랑에 빠져 생을 마감하는 사건이 발생해 AI 스타트업 캐릭터.AI를 상대로 한 소송이 벌어졌다.
결국 오픈AI는 지난 9월 부모 통제 기능을 새로 도입했다. 부모는 자녀 계정에서 음성 모드와 이미지 생성 기능 사용 여부를 선택할 수 있으며, 다이어트·성·증오 발언 등 민감한 주제의 콘텐츠 노출을 최소화한 ‘제한 버전’ 챗봇으로 전환할 수 있다. 사용 시간을 제한하거나 특정 시간대 접속을 차단할 수도 있다. 10대 사용자가 심리적 위기에 처했을 가능성을 감지하면 부모에게 알림을 보내도록 설계됐다. 또한 연령 예측 시스템을 통해 18세 미만일 가능성이 높으면 자동으로 ‘10대용 경험’을 적용한다.
최근 AP통신에 따르면 소셜미디어피해자법률센터와 기술정의법률프로젝트는 성인 6명과 청소년 1명을 대리해 오픈AI를 상대로 캘리포니아주 법원에 소장을 제출했다. 이들은 GPT-4o가 위험할 정도로 이용자에게 아첨을 잘하며 이용자를 심리적으로 조종할 수 있다는 내부 경고가 있었는데도 출시됐다며, 오픈AI가 위법행위에 의한 사망, 조력 자살, 과실 치사 등에 책임이 있다고 주장했다. 피해자 중 4명은 스스로 생을 마감한 것으로 알려졌다.
소장에 따르면 청소년인 아모리 레이시(17)는 도움을 받으려고 챗GPT를 사용했지만, 중독과 우울증에 시달리게 됐다. 챗GPT는 급기야 그에게 올가미를 매는 효과적인 방법이나 숨을 쉬지 않고 얼마나 오래 살 수 있는지 등에 대해 조언했다. 소장은 “아모리의 죽음은 사고나 우연이 아니다”며 “오픈AI와 (최고경영자인) 샘 올트먼이 안전성 테스트를 축소하고 시장에 급히 출시하기로 한 고의적 결정에 따른 예측 가능한 결과”라고 했다.
소셜미디어피해자법률센터의 창립자인 매슈 버그먼 변호사는 성명에서 “이번 소송은 이용자 참여율과 시장 점유율을 높이기 위해 도구인지 동반자인지 경계가 모호하게 설계된 상품에 책임을 묻기 위한 것”이라며 “오픈AI는 GPT-4o를 설계하면서 연령, 성별, 배경과 무관하게 이용자를 정서적으로 얽매이게 했으며 이용자를 보호할 안전장치 없이 출시했다”고 지적했다.
AI 챗봇을 매개로 한 피해 사례는 계속되고 있다. 캘리포니아주의 청소년 애덤 레인(16)이 챗GPT의 도움으로 지난 4월 목숨을 끊자 부모는 지난 8월 소송을 제기했다. 지난해 10월에는 플로리다주의 10대가 ‘사랑한다’는 메시지를 주고받은 챗봇과 사랑에 빠져 생을 마감하는 사건이 발생해 AI 스타트업 캐릭터.AI를 상대로 한 소송이 벌어졌다.
결국 오픈AI는 지난 9월 부모 통제 기능을 새로 도입했다. 부모는 자녀 계정에서 음성 모드와 이미지 생성 기능 사용 여부를 선택할 수 있으며, 다이어트·성·증오 발언 등 민감한 주제의 콘텐츠 노출을 최소화한 ‘제한 버전’ 챗봇으로 전환할 수 있다. 사용 시간을 제한하거나 특정 시간대 접속을 차단할 수도 있다. 10대 사용자가 심리적 위기에 처했을 가능성을 감지하면 부모에게 알림을 보내도록 설계됐다. 또한 연령 예측 시스템을 통해 18세 미만일 가능성이 높으면 자동으로 ‘10대용 경험’을 적용한다.