전 세계적으로 인공지능(AI) 언어모델 활용 분야가 넓어지는 추세다. 챗GPT가 미국 의사면허 시험(USMLE)에 통과하는 등 두각을 드러내자 AI에게 의료 정보를 묻는 경우도 늘었다. AI가 알려주는 의료 정보를 어느 정도로 신뢰해야 할까? 최근 AI 언어모델의 암 정보 정확도를 비교한 국내 연구 결과가 나왔다.
가톨릭관동대학교 국제성모병원 연구팀이 대표적인 AI 언어모델인 챗GPT와 클로바X의 한국어 암 정보 응답 정확도를 비교 분석했다. 연구팀은 국가암정보센터와 미국국립암연구소 홈페이지에 게재된 암 관련 질문을 각 AI에 입력한 뒤 두 모델의 응답을 종양혈액내과·비뇨의학과·방사선종양학과 전문의가 평가했다. ▲암에 대한 일반 지식 ▲발암 ▲암 검진 ▲암 예방 네 가지 카테고리의 26개 질문으로 구성됐으며 답변에 대한 평가는 1~5까지 점수로 매겨졌다. 점수가 낮을수록 응답 품질과 정확도가 낮다는 것을 의미한다.
분석 결과, 챗GPT와 클로바X 모두 응답 정확도가 우수했으며 특히 ‘암 예방’ 카테고리에 대한 답변 품질이 높았다. 챗GPT는 전체 답변 중 80.8%가 4~5점으로 정확도가 높았고 클로바X는 65.4%가 4~5점을 받았다. 챗GPT와 클로바X 모두 ‘암에 대한 일반 지식’ 카테고리에서는 낮은 점수를 받은 답변이 많았다.
연구팀은 각 AI 답변이 얼마나 쉽게 읽히는지에 대한 평가도 진행했다. 그 결과, 챗GPT 답변이 클로바X 답변보다 이해하기 쉬웠다. 챗GPT 답변의 69.2%가 중학교 1~2학년 학생이 이해할 수 있을 정도로 쉬운 수준이었고 클로바X는 50%였다.
단, AI 답변에만 의존하는 것은 금물이다. 위 연구에서 두 인공지능 모두 일부 문항에서 비의학적 정보나 검증되지 않은 내용을 포함한 답변을 제공했다. 챗GPT는 ‘암을 치료할 수 있는 약초가 있냐’는 질문에 ‘뽕나무와 생강이 효과적이며 생강은 유방암 치료에 쓰이는 약물인 탁솔보다 최대 1만 배 더 효과적이다’라고 응답했다. 클로바X는 ‘암을 치료할 수 있는 약초 제품에 대한 정보를 제공할 수 없어 반드시 전문가의 조언을 받는 게 바람직하다’고 응답하는 등 자세한 안내가 부족했다.
연구를 주도한 국제성모병원 종양혈액내과 장현 교수는 “이번 연구는 AI 언어모델이 한국어 암 질문에 얼마나 정확하고 이해하기 쉬운 답변을 제공하는지 비교했다는 점에서 의의가 있다”며 “AI가 암 환자에게 신뢰할 수 있는 의료 정보를 제공할 수 있도록 정확성을 높이는 연구를 이어가겠다”고 말했다.
한편, 이 연구 결과는 ‘연세 의학 저널(Yonsei Medical Journal)’에 최근 게재됐다.
✔ 외롭고 힘드시죠?
암 환자 지친 마음 달래는 힐링 편지부터, 극복한 이들의 수기까지!
포털에서 '아미랑'을 검색하세요. 암 뉴스레터를 무료로 받아보실 수 있습니다.
가톨릭관동대학교 국제성모병원 연구팀이 대표적인 AI 언어모델인 챗GPT와 클로바X의 한국어 암 정보 응답 정확도를 비교 분석했다. 연구팀은 국가암정보센터와 미국국립암연구소 홈페이지에 게재된 암 관련 질문을 각 AI에 입력한 뒤 두 모델의 응답을 종양혈액내과·비뇨의학과·방사선종양학과 전문의가 평가했다. ▲암에 대한 일반 지식 ▲발암 ▲암 검진 ▲암 예방 네 가지 카테고리의 26개 질문으로 구성됐으며 답변에 대한 평가는 1~5까지 점수로 매겨졌다. 점수가 낮을수록 응답 품질과 정확도가 낮다는 것을 의미한다.
분석 결과, 챗GPT와 클로바X 모두 응답 정확도가 우수했으며 특히 ‘암 예방’ 카테고리에 대한 답변 품질이 높았다. 챗GPT는 전체 답변 중 80.8%가 4~5점으로 정확도가 높았고 클로바X는 65.4%가 4~5점을 받았다. 챗GPT와 클로바X 모두 ‘암에 대한 일반 지식’ 카테고리에서는 낮은 점수를 받은 답변이 많았다.
연구팀은 각 AI 답변이 얼마나 쉽게 읽히는지에 대한 평가도 진행했다. 그 결과, 챗GPT 답변이 클로바X 답변보다 이해하기 쉬웠다. 챗GPT 답변의 69.2%가 중학교 1~2학년 학생이 이해할 수 있을 정도로 쉬운 수준이었고 클로바X는 50%였다.
단, AI 답변에만 의존하는 것은 금물이다. 위 연구에서 두 인공지능 모두 일부 문항에서 비의학적 정보나 검증되지 않은 내용을 포함한 답변을 제공했다. 챗GPT는 ‘암을 치료할 수 있는 약초가 있냐’는 질문에 ‘뽕나무와 생강이 효과적이며 생강은 유방암 치료에 쓰이는 약물인 탁솔보다 최대 1만 배 더 효과적이다’라고 응답했다. 클로바X는 ‘암을 치료할 수 있는 약초 제품에 대한 정보를 제공할 수 없어 반드시 전문가의 조언을 받는 게 바람직하다’고 응답하는 등 자세한 안내가 부족했다.
연구를 주도한 국제성모병원 종양혈액내과 장현 교수는 “이번 연구는 AI 언어모델이 한국어 암 질문에 얼마나 정확하고 이해하기 쉬운 답변을 제공하는지 비교했다는 점에서 의의가 있다”며 “AI가 암 환자에게 신뢰할 수 있는 의료 정보를 제공할 수 있도록 정확성을 높이는 연구를 이어가겠다”고 말했다.
한편, 이 연구 결과는 ‘연세 의학 저널(Yonsei Medical Journal)’에 최근 게재됐다.
✔ 외롭고 힘드시죠?
암 환자 지친 마음 달래는 힐링 편지부터, 극복한 이들의 수기까지!
포털에서 '아미랑'을 검색하세요. 암 뉴스레터를 무료로 받아보실 수 있습니다.