👀美서 수백건 승인된 의료 AI, 성능 검증 엉망
· 네이처, 의료AI 정밀도 제고 필요 💻: 8월 22일 국제학술지 네이처는 의료현장에서 사용하기 위한 AI 시스템의 성능이 충분히 검증되지 못하고 있다는 분석을 내놨다. 시스템의 정확도를 면밀하게 검증하기 위해선 지금보다 더 많은 단계의 시험을 거쳐야 한다는 지적이다.
· 무작위 대조 시험 거친 AI 검증 연구 65건뿐 😔 : 영국 버밍엄대 연구팀이 발표한 논문에 따르면 AI 시스템이 의료현장에서 사용하기 적절한지 확인하기 위해선 여러 단계의 검증 절차를 거쳐야 한다. 특히 무작위 대조 시험은 필수적이다. 그러나 2020년부터 2022년 사이 의료 AI 시스템 효과를 확인한 연구에서 무작위 대조 시험이 이뤄진 경우는 65건에 불과했다. 같은 기간 미국 식품의약국(FDA)은 수백 대의 AI 기반 의료기기를 승인했다.
· 기존 데이터 검증만으론 부족해 😓 : 의료현장에서 축적된 데이터만을 검증하는 방식도 부족하다는 지적이다. 캐나다에서 이뤄진 한 연구에선 응급 환자에게 필요한 진단을 정확히 예측하는 AI 시스템을 검증하기 위해 7만7000건의 응급실 데이터를 분석한 뒤, 이 시스템이 응급실 의료처치의 효율을 22.3% 높일 수 있다는 결과를 발표했다. 하지만 이미 알고 있는 과거의 결과를 분석해 인과관계를 관찰하는 후향적 연구는 연구 대상의 돌발적인 변수를 예측하기 어렵다.
· 의료진 AI 시스템을 신뢰않는다 😰: 상대적으로 가벼운 증상에도 작동하는 AI의 알람음은 의료진들에게 ‘경보 피로’를 일으킨다. 데이비드 러쉬로우 미국 메이오 클리닉 교수는 “바쁜 일선 의사들은 환자들이 위험에 처할 수 있는 상태에 대한 경고에 하루에도 여러 번 노출된다”며 AI시스템의 경고 정확성이 담보되지 않는다면 의사들은 경보음에 귀를 기울이지 않을 것이라 말했다.
· 다양한 인종 테스트 필요 📂 : 구글 헬스가 미국 환자들을 대상으로 연구해 개발한 당뇨병성 망막증 감지 AI 알고리즘은 이론적으로 정확했지만 실제 이 시스템이 태국에서 사용됐을 때는 정확도가 크게 떨어졌다.
일부 전문가들은 현시점에서 의료 AI 시스템의 성능을 검증하기 위해 가장 좋은 방법은 각 의료기관이 도입에 앞서 자체 실험을 진행하는 것이라 말했다. 메이오 클리닉의 AI검증 연구 프로그램을 이끄는 쇼사나 오버가아드는 “메이오 클리닉과 연계된 지역 사회 보건 시설에서 표준화된 방식으로 AI 시스템의 성능을 확인하고 있다”고 전했다.
핵심 요약
· 후향적 데이터 검증만으로는 돌발 변수를 예측하기 어렵고, AI의 경고는 의료진에게 경보 피로를 유발할 수 있다.
· 다양한 인종과 환경에서 AI의 성능을 테스트하는 것이 신뢰도를 높이는 방법으로 제시됐다.
생각할 거리
👀환자 줄기세포로 세계 최초 당뇨병 치료 효과 확인
· 제1형 당뇨병 치료의 새 길 📝: 중양 셴 중국 난카이대 의대 교수팀은 중국 베이징대 연구팀과 공동 연구를 통해 세계 최초로 환자 자신의 줄기세포를 이식해 제1형 당뇨병 치료를 시도한 환자 1명의 1년간 관찰 결과를 국제학술지 ‘셀’에 공개했다. 제1형 당뇨병은 몸의 면역체계가 혈당 조절 호르몬인 인슐린을 만드는 췌장 내 세포를 공격해 파괴하는 자가면역 반응이 일어나는 질환이다.
· 줄기세포 치료 1년 지났지만 적정 혈당 유지 👩 : 연구팀은 지난해 6월 25세 여성 환자에게서 인슐린을 분비하는 세포인 췌도 세포를 추출했다. 추출한 세포를 화학 처리해 세포의 기능·역할이 분화하기 전인 유도만능줄기세포(iPS)로 되돌렸다. 이를 활용해 다시 췌도 세포 150만 개로 이뤄진 조직을 만들었다. 환자 복부에 이식된 췌도 세포들은 이식 후 75일이 지나자 인슐린을 따로 보충하지 않고도 생활할 수 있을 만큼 생성하기 시작했다. 이식 후 1년이 넘었지만 환자는 특별한 부작용 없이 정상 혈당을 유지하는 것으로 알려졌다. 하루 중 98% 이상의 시간 동안 적정 혈당 수준을 보였다는 설명이다.
논문의 공동 교신저자인 홍쿠이 덩 중국 베이징대 생명과학대 교수는 “다른 두 참가자의 결과도 매우 긍정적”이라며 “10명 또는 20명으로 실험을 확대할 예정”이라고 밝혔다.
· 줄기세포 당뇨병 치료 임상 활발 😃 : 중국 상하이대 연구팀이 췌도 세포 기능이 손상돼 제2형 당뇨병을 앓는 59세 남성의 간에 췌도 세포를 이식해 치료했다는 연구결과를 냈다.
미국 바이오기업인 버텍스 파마슈티컬은 기증된 줄기세포로 만든 췌도 세포를 제1형 당뇨병 환자 12명의 간에 주입하는 임상시험을 진행하고 예비결과를 6월에 보고했다. 이식 후 3개월 뒤 모든 참가자가 인슐린을 생성했고 11명은 외부 인슐린이 사용이 줄거나 필요 없어진 것으로 나타났다.
다이스케 야베 일본 교토대 당뇨병·내분비·영양학과 교수팀도 기증자의 줄기세포로 췌도 세포를 만들어 제1형 당뇨병 환자에게 이식하는 임상시험을 준비 중이다. 첫 이식 수술은 내년 초로 예정됐다.
핵심 요약
· 이 연구는 줄기세포 기반 치료가 당뇨병 치료의 새로운 가능성을 제시한 첫 사례로 주목받고 있다.
생각할 거리