이런, 매의 눈으로 본다고 딥페이크를 단번에 가려낼 수 있는 게 아니었어. 딥페이크, 도대체 어떻게 만들어지길래 이렇게 감쪽같은 걸까? 나, 매추리가 알아봤어.
합치고, 바꾸고…, 정교해지는 딥페이크
선거 기간에 흔히 보이는 딥페이크는 두 개의 얼굴을 합성해 만들어져요. 원본 영상의 얼굴을 정치인의 얼굴로 바꾸는 방식이죠. 인공지능(AI)은 정치인 얼굴의 피부색, 얼굴과 머리 모양, 눈과 코의 위치 등 주요 특징을 학습한 뒤, 학습한 정보를 원본 영상에 삽입합니다. AI가 정치인의 실제 사진과 영상을 많이 학습할수록 그럴싸한 딥페이크가 만들어져요.
정치인이 연설하는 원본 영상에 다른 사람의 입 모양을 입혀 해당 정치인이 말하는 것처럼 조작하는 기법도 있습니다. AI는 원하는 말을 하는 사람 얼굴의 주요 특징을 추출해 원본 영상에 삽입해요. 사진이나 영상이 조금만 있어도 얼굴의 특징을 잘 추출한다는 것이 특징이죠.
과거 딥페이크는 허술한 점이 많았어요. 눈을 깜빡이지 않거나 음성과 입 모양이 일치하지 않는 등 어색한 점이 많아 사람들이 쉽게 감별할 수 있었지요. 그런데 2014년 ‘생성적 적대 신경망(GAN)’이 등장하면서 딥페이크는 이전보다 훨씬 정교해졌습니다.
생성적 적대 신경망은 생성망과 분류망이라는 두 개의 신경망으로 이뤄집니다. 먼저 생성망은 합성하려는 얼굴의 핵심 정보를 받아 그럴듯한 가짜 이미지를 만들어요. 그 다음 분류망은 생성망이 만든 가짜 이미지가 미리 학습한 실제 데이터와 얼마나 비슷한지 계산하죠. 이 과정을 여러 번 거치면서 생성망은 분류망이 구분할 수 없을 정도로 현실적인 가짜 이미지를 만들어 냅니다. 안성원 실장은 “위조지폐범이 더욱 정교하게 가짜 돈을 만들고자 노력하고, 경찰은 가짜 돈을 구분해 내기 위해 노력하는 과정과 비슷하다”고 설명했습니다.
생성적 적대 신경망을 활용해 AI는 사람의 피부부터 머리카락까지 실제와 비슷하게 만드는 수준에 이르렀어요. 기존에 어색한 점이 많았던 얼굴 합성도 생성적 적대 신경망과 결합한 덕분에 더 사실적인 결과물을 얻을 수 있지요. 더 나아가 세상에 없던 가상의 얼굴도 만들어 낼 수 있답니다.
