d라이브러리

사람의 뇌를 합성함수 형태로 모방할 수 있다는 것도 신기하지만, 함수의 종류와 합성 방법에 따라 다양한 일을 하는 딥러닝 알고리듬을 만들 수 있다는 건 더 놀라운 사실! 
먼저 2층 ‘엔터테인먼트관’에서 딥러닝을 이용한 엔터테인먼트 상품을 둘러보시죠!

1 진짜 같은 가짜 오바마?

버락 오바마 전 미국 대통령이 연설하는 영상이군요. 하지만 이 영상은 목소리만 진짜인 가짜 오바마입니다. ‘갠(GAN)’이라는 딥러닝 기술로 음성에 맞는 가짜 영상을 만들어낸 것이죠. 2017년 8월 아이라 케멜마허-슐라이저먼 미국 워싱턴대학교 컴퓨터과학및공학부 교수팀이 국제학술대회 ‘시그래프2017’에서 공개했습니다.

연구팀은 오바마의 음성과 영상 자료를 인공신경망으로 학습시킨 뒤 진짜 같은 가짜 연설 영상을 만들었습니다. 오바마가 말하는 모습과 목소리를 다각도로 학습해서 원하는 말을 하는 입모양을 만들어내 정교한 합성 영상을 만든겁니다.

2 눈 감은 사진을 인생사진으로!

2018년 페이스북인공지능연구소 연구팀은 갠을 이용해서 ‘인생사진’을 만드는 기술도 개발했습니다. 누구나 사진을 찍을 때 눈을 감아 아쉬웠던 경험이 있을 텐데요, 자동으로 감은 눈을 뜨게 해주는 기술입니다. 이 기술은 오바마의 입 모양을 만든 것과 마찬가지로 자연스러운 눈 모양을 만들어줍니다. 포토샵 프로그램으로 보정한 것보다 훨씬 자연스럽게 눈을 뜬 모습을 만들어주죠.

3 세상에 없는 사람 얼굴도 제작

갠으로 세상에 없는 사람의 얼굴을 만드는 기술도 나왔습니다. 2019년 미국의 반도체기업 엔비디아 연구팀은 갠을 이용해 세상에 존재하지 않는 다양한 얼굴을 만들고 ‘존재하지 않는 사람(thispersondoesnotexist.com)’이라는 홈페이지를 만들어 공개했죠.

4 최 기자의 얼굴, 갠으로 재탄생!

사진 속 얼굴에서 가려진 부분을 갠으로 재창작하는 기술도 나왔습니다. 조영주 한국전자통신연구원(ETRI) 시각지능연구실 연구원은 학습된 사람의 얼굴 이미지를 이용해 사진 속 얼굴의 가려진 부위를 새롭게 만들어내는 기술을 개발했습니다. 마스크를 쓴 최영준 기자의 얼굴을 새로 만들어 봤는데요, 자연스럽나요?

갠의 창작 비결은 ‘수학을 이용한 스스로 학습’

갠은 창작에 특화된 딥러닝 알고리듬이라고 할 수 있습니다. 갠 알고리듬의 특징은 ‘생성자’와 ‘판별자’라는 두 종류의 인공신경망을 이용한다는 점입니다.

생성자는 이미지를 생성하는 알고리듬입니다. 생성자는 학습된 다양한 이미지를 재료로 새로운 이미지를 만듭니다. 판별자는 생성자가 만든 이미지가 진짜인지 가짜인지를 판별하는 인공신경망이죠. 판별자 역시 학습된 진짜 이미지를 바탕으로 생성자가 만든 이미지를 판단합니다. 이때 판별자가 판단하는 기준은 ‘확률’입니다. 원본 이미지 데이터와 가짜 이미지 데이터를 비교하면서 진짜일 확률을 구하는 함숫값을 계산하는 거죠. 계속 계산하면서 함숫값이 0.5가 될 때까지 이미지를 생성하면서 비교합니다. 

0.5는 진짜인지 가짜인지 판별하지 못하는 상태를 나타냅니다. 그만큼 생성된 이미지가 정교하다는 뜻입니다. 이렇게 되면 수학적으로는 원본 데이터와 가짜 데이터가 가지는 *확률분포가 일치하게 됩니다.

딥러닝으로 생명력 얻은 악당 타노스

어벤져스 시리즈의 마지막 두 편은 슈퍼히어로와 최강 악당 타노스와의 대결을 그린 ‘인피니티 워’와 ‘엔드게임’이었습니다. 특히 타노스는 분노와 고뇌, 연민, 광기와 같은 감정 표현이 다양한 캐릭터였죠.

제작사인 마블 스튜디오는 이런 감정을 타노스의 얼굴에 생생하게 표현하기 위해 딥러닝을 도입했습니다. 이전 영화에서는 이런 촬영할 때 배우의 얼굴에 표시한 100~150개 정도의 점을 카메라로 인식한 뒤 공간좌표로 변환해 얼굴을 대략적으로 표현했죠. 그런 뒤 컴퓨터그래픽 아티스트가 표정을 세밀하게 묘사하는 방식이었습니다.

하지만 마블 스튜디오는 다양한 감정을 담은 표정을 학습한 딥러닝을 이용해 타노스의 표정을 완성했습니다. 점을 이용해 배우의 얼굴에서 얻은 저해상도 표정 이미지를 딥러닝 알고리듬에 입력해 고해상도의 표정 이미지로 변환하는 방식이죠. 거기서 필요한 수정을 거쳐 얼굴을 완성하는 겁니다. 이전에 비해 손쉽고 효율적으로 생생한 표정을 만들 수 있게 된 거죠.

▲ 영화 ‘어벤져스’ 시리즈에 등장하는 악당 타노스는 배우가 실제로 연기하는 모습을 모션 캡처 기술로 기록한 뒤 컴퓨터 그래픽으로 재구성하는 방식으로 제작했다. 특히 섬세한 표정 표현에는 딥러닝 기술이 적용됐다.

표정을 넘어 연기까지 딥러닝으로?
 

현재의 딥러닝 기술이 배우의 표정 연기를 이용해 가상의 인물을 생생하게 묘사하는 수준이라면, 앞으로는 영화나 게임에서 이어질 상황까지 딥러닝으로 자동으로 생성해낼 수 있게 될 전망입니다. 갠에서 한 걸음 더 나아간 딥러닝 기술인 ‘월드 모델’에 대한 연구가 한창 이뤄지고 있기 때문이죠.

월드 모델은 구글브레인 연구팀이 사람이 환경에 반응하고 행동하는 원리를 모방해 2018년에 발표한 딥러닝 기술입니다. 사람은 주변 환경에서 필요한 요소만을 고려해 판단하고 행동합니다. 특히 뇌는 매 순간 시각이나 청각, 촉각 등 인체 감각기관에서 얻은 정보를 토대로 생각할 겨를 없이 순식간에 미래를 예측하고 몸을 움직입니다. 월드 모델은 이런 원리를 바탕으로 만든 딥러닝 기술입니다.

월드 모델은 시각을 담당하는 인공신경망과 기억을 담당하는 인공신경망, 그리고 판단을 담당하는 인공신경망으로 이뤄져 있습니다. 시각 담당 인공신경망은 상황을 생성하고, 기억 담당 인공신경망은 만든 상황을 이용해 시간 순서로 상황을 인식하고 다음 상황을 예측합니다. 판단 담당 인공신경망은 예측된 상황을 토대로 가장 보상이 큰 행동을 제안하는 방식으로 작동합니다. 이제 막 연구가 시작된 기술이라 실제로 적용된 사례는 아직 없지만 영상이나 게임 제작, 자율주행 분야에 도움을 줄 것으로 기대하고 있습니다.

용어정리

* 확률분포 : 어떤 변수가 가질 수 있는 값의 확률적인 분포를 말한다.