d라이브러리

딥페이크 영상 유포 사태가 일파만파 커지고 있는 가운데 딥페이크 영상을 탐지하고 억제하는 기술에 대한 관심도 커지고 있다. 딥페이크를 애초에 악용하지 못하도록 막거나 딥페이크를 탐지하는 기술도 함께 발전하고 있지만, 생성형 AI의 발전 속도를 따라잡지 못하고 있다. 전문가들은 세계적으로 딥페이크에 대한 능동적인 대처 연구는 초기 단계로 보고 있다. 

AI로 다른 사람 얼굴에 나체 사진을 합성한 이미지와 영상이 텔레그램 등을 통해 퍼지며 최근 사회적인 문제가 되고 있다. 지난 2월엔 팝스타 테일러 스위프트의 이미지를 악의적으로 합성한 음란 딥페이크가 소셜미디어에 퍼져 논란이 됐다. 3월 충북에선 중학생들이 딥페이크를 활용해 지인의 얼굴을 합성한 음란물을 만들어 경찰이 수사에 나섰다. 당정은 8월 29일 딥페이크 성범죄의 처벌 수위를 높이고 텔레그램 운영사 측과 핫라인을 확보하는 방안을 추진하겠다고 밝혔다. 
 

일반적으로 딥페이크 대응 기술은 해당 콘텐츠가 딥페이크인지 진짜 콘텐츠인지 선별해내는 원리로 작동한다. 소리, 영상에 등장하는 사람의 움직임, 얼굴의 움직임, 얼굴색 등 부자연스러운 부분을 탐지해 딥페이크임을 알아내고 삭제를 유도한다. 심지어 귀의 독특한 주름, 치아의 불규칙성 등으로 조작을 감지한다. 

① 딥페이크 영상 걸러내는 AI 모델 이용 📹 : 국내 보안 솔루션 기업인 '라온시큐어'는 고객의 얼굴을 합성한 영상과 정상적인 얼굴을 학습시킨 AI를 이용해 딥페이크 영상을 자동으로 찾고 걸러내는 연구를 진행 중이다. 국내 사이버 위협 탐지 전문기업인 샌즈랩도 심층 학습 기반의 알고리즘과 멀티모달 데이터 분석 기법을 이용해 실시간 재생되는 영상과 SNS 딥페이크 영상을 걸러내는 모델을 개발하고 있다. 

② 미세하게 변형된 선호 흔적 찾기 🔍 : 2021년 이흥규 KAIST 전산학부 교수 연구팀은 딥페이크와 사진 위변조 탐지가 가능한 국내 최초의 모바일 앱 ‘카이캐치’를 선보였다.   딥페이크가 의심되는 동영상이나 사진을 올리고 분석을 유료로 의뢰하면 분석 결과를 3일 내로 제공하는 서비스다. 연구팀은 딥페이크 탐지를 위해 영상이 미세하게 변형된 신호 흔적을 찾아내고 이상 신호 흔적도 탐지하는 기술을 적용했다. 얼굴 영역의 미세 변형과 코, 입, 얼굴 윤곽 등 얼굴 내 기하학적 왜곡이 발생가능한 영역을 탐지한 후에 이상신호 흔적을 분석한다. 이상신호가 발견되면 딥페이크 여부를 탐지한다.

③ 은하 분석 기법으로 찾기 🌠 : 케빈 핌블렛 영국 헐대 모델링·인공지능·데이터사이언스 연구소장은 지난 7월 “은하 분석 기법으로 딥페이크 영상을 구분할 수 있다”고 밝혔다. 천문학 연구에서 은하의 빛 분포를 계산하는 '지니계수'를 활용해 딥페이크 영상을 찾아내는 기술로 영상 속 인물의 눈동자에 비친 빛을 이용해 사실 여부를 판별한다. 실제 영상이라면 눈동자 속 빛이 물리적인 법칙을 따르지만 딥페이크 영상에서는 다른 결과가 나오는 것을 이용했다. 

④ 워터파크 삽입술  ✨: 눈에 보이지 않는 워터마크를 콘텐츠에 삽입하는 기술로,. AI가 생성한 콘텐츠라는 사실을 식별할 수 있는 방법이다. 현재 딥페이크에는 AI가 만든 정보라는 워터마크를 넣게 하고 따르지 않았을 경우 콘텐츠를 유통하는 플랫폼 기업이 바로 삭제하도록 하는 법안이 국회에서 논의 중이다. 문제는 범죄자가 작정하고 만들어 유포하는 생성물엔 워터마크가 애초부터 들어갈 수 없다는 점이다. 

⑤ 민감한 부분 지우는 기술 📝 : 우사이먼성일 성균관대 교수팀은 생성형AI가 만드는 이미지에서 불쾌하거나 공개되면 안 되는 부분을 자연스럽게 바꾸거나 지우는 기술을 연구하고 있다. 생성형AI가 만드는 이미지에서 나체나 욱일기처럼 민감한 부분이 드러난다면 이를 자연스럽게 바꾸는 기술이다. AI 모델에게 지워야 할 이미지가 무엇인지, 그걸 어떻게 지울 것인지를 학습시키는 원리다. 
 

ㆍ 경찰청이 만든 한국형 딥페이크 탐지 프로그램 👮 : 지난 3월 5일 경찰청에서는 한국인을 포함한 아시아인 데이터 520만 점을 학습해 한국인의 딥페이크를 더욱 정확하게 탐지할 수 있는 '한국형 딥페이크 탐지 소프트웨어'를 개발했다고 밝혔다. 

ㆍ 2025년 10억 투입해 딥페이크 탐지 연구 💰 : 8월 28일 정부 R&D 예산안을 설명하며 이주식 과기정통부 정보통신방송기술정책과장은 “내년 딥페이크 관련된 R&D 과제는 2개로, 하나는 생성 신경망 방식을 이용해 딥페이크 탐지 및 생성 억제 기술개발 연구, 또 다른 하나는 자가진화형 딥페이크 탐지기술 기술개발”이라면서 “각각 10억을 투입해 총 20억원을 투자한다”고 말했다.  
 

해외에서는 딥페이크 콘텐츠를 아예 만들지 못하게 방해하는 기술을 연구한다. 창작자의 고유 화풍을 AI가 따라하지 못하도록 하는 것이다. 미국 시카고대 컴퓨터과학과 교수가 이끄는 ‘글레이즈/나이트셰이드 팀’은 AI가 학습하는 이미지 자체에 함정을 심어놓는 기술을 개발한다. 또 생성형AI가 이미지와 텍스트를 묶어 학습한다는 사실을 역이용해 텍스트와 관계 없는 이미지를 묶어서 데이터를 제공하는 방법을 쓴다. 

ㆍ 스타일 망토 씌워 창작자 작품 보호 💫 : 글레이즈는 창작자 작품의 화풍이 AI에게만 다른 화풍처럼 보이게 하는 기술이다. 창자자는 글레이즈를 적용할 때 그림이 AI에게 어떻게 보일지 선택하는데, 인간이 감지할 수 없을 정도의 미세한 변형을 가해 AI에게는 창작자가 고른 화풍으로 인식하게 만든다. 따라서 인간의 눈에는 글레이즈를 적용한 이후에도 창작자의 그림처럼 보이지만, 생성형AI가 이 작품의 이미지를 무단으로 사용하면 AI에게 이 작품은 창작자가 고른 화풍으로 인식된다. 즉 창작자의 화풍은 투명 망토를 씌운 것처럼 감쪽같이 가려진다. 

ㆍ 이미지에 독약 묻혀 이미지 생성 체계 무너뜨려 💊 :  생성형AI 독살 프로그램으로 불리는 나이트셰이드는 생성형AI가 이미지와 텍스트를 묶어 학습한다는 사실을 역이용한다. 예를 들어 생성형AI에게 강아지를 그리는 법을 가르치려면 강아지란 텍스트와 연결된 강아지 이미지를 수십억 장 학습시킨다. 그런데 이때 학습 데이터의 20%를 이미지에 미세한 변형을 가해 인간의 눈에 강아지로 보이는 이미지에 고양이 이미지를 덧씌운 것으로 바꿔치기 한다. 그러면 생성형AI는 강아지라는 단어에 강아지 이미지와 고양이 이미지를 함께 연결한다. 강아지를 그리라는 명령을 입력받아도 고양이와 강아지가 애매하게 섞인 것을 그린다.
 

▶기사1 원문 보기 ▶기사2 원문 보기