구독상품안내
“눈은 가늘게, 아니 그것보다는 좀 더 짧게. 코는 길고 끝은 뾰족하게, 아니 그것보다는 뭉툭했던 것 같은데….”
범죄 수사에서 범인을 목격한 피해자나 목격자의 진술을 토대로 몽타주를 그리는 경우가 많다. 범인의 얼굴과 비슷한 눈코입 등 얼굴의 부위별 자료를 조합해 용의자와 유사한 얼굴을 완성한다. 최근 폐쇄회로(CC)TV가 많이 설치되면서 범죄 현장이나 근처 영상이 우선적으로 중요한 단서가 됐다. 하지만 여전히 CCTV가 닿지 않는 사각지역이나 실내에서 발생한 사건의 경우에는 몽타주가 큰 역할을 한다.
경찰청은 1996년 미국 소프트웨어 개발 기업인 인포테크에서 개발한 몽타주 시스템을 도입했다. 하지만 서양인의 얼굴 정보를 토대로 만들어진 탓에 한국인의 얼굴을 그리는 데 어려움이 있었다. 1999년 국내에서도 이를 보완한 한국인 몽타주 시스템이 개발됐다. 하지만 3차원(3D) 영상 기술이 비약적으로 발전하는 과정에서도 몽타주 기술은 목격자의 기억에 의존해 2차원으로 구현하는 기법에 머물러 있었다.
전체 인상부터 선택, 이후 눈코입 그려
목격자가 진술하는 대로 그린 몽타주는 주관적이다. 범인 얼굴이 흐릿하게 기억나면 정확한 묘사가 어렵고, 옆에서 목격한 경우 얼굴 정면을 그리기 쉽지 않다. 범인이 모자나 마스크로 얼굴 일부를 가린 경우에는 몽타주를 만들기가 더욱 어렵고, 사건 현장의 조명에 따라 얼굴이 달리 보이기도 한다. 결국 피해자나 목격자가 범인의 얼굴을 제대로 봤다고 생각해도, 실제와 딴판인 몽타주가 나올 수 있다.
경찰청은 필자의 연구팀에 기존 몽타주 시스템보다 훨씬 정교하고, 실제 사건과 비슷한 환경에서 시뮬레이션 할 수 있는 몽타주 기술 개발을 의뢰했다. 2011년 6월부터 첨단 3D 모델링과 렌더링, 시뮬레이션 기술을 도입해 3D로 얼굴을 그리는 ‘3D 몽타주 시스템’을 개발했고 2014년 5월 완성했다. 얼굴을 여러 각도로 돌리거나 조명 밝기를 바꾸는 등 환경을 바꿔서 시뮬레이션 할 수 있는 게 특징이다.
특히 심혈을 기울인 부분은 목격자가 용의자의 얼굴을 기억해내지 못할 때 몽타주를 그리는 방법이다. 기존에는 목격자가 용의자의 얼굴형, 눈, 코, 입 등을 골라 조합하는 방식으로 몽타주를 만들었다. 하지만 사람은 얼굴을 볼 때 일차적으로 눈코입 등 얼굴 부위보다는 전체적인 인상을 먼저 기억한다(doi:10.4304/jmm.1.3.42-51).
이 연구에서 힌트를 얻어 목격자에게 얼굴형에 대한 다양한 후보군을 제시한 뒤, 기억나는 대로 전체적인 인상을 선택하게 했다. 그리고 ‘대화형 진화연산(Interactive Evolutional Computing)’ 기법을 적용해 여러 단계를 거칠수록 점점 더 목격자가 기억하는 용의자의 얼굴로 닮아가게 만들었다. 기존 몽타주 시스템이 눈코입부터 선택하게 했다면, 3D 몽타주 시스템은 전체적인 윤곽을 잡은 다음 하나씩 얼굴을 채워나가는 방식인 것이다.
일반 사진에서 입체 얼굴을 만드는 ‘3D 변환 기술’도 개발했다. 지금까지 200여 명의 얼굴을 입체화해 데이터베이스로 구축했다. 사진 속 얼굴을 3D로 만든 뒤 원래 사진과 비교하면서 다른 부분을 자동적으로 조금씩 수정해 완성하는 원리다. 기존에는 얼굴에서 68개나 되는 특징점을 뽑아 정렬해야 했지만, 최근에는 딥러닝을 이용해 훨씬 빠르고 정교하게 3D 얼굴을 만들고 있다. 평면 사진을 3D로 변환하는 데 걸리는 시간은 30초면 충분하다. 이렇게 개발된 3D 몽타주 시스템은 현재 전국 경찰청 8곳에서 활용 중이며, 내년에는 더 많은 곳에 보급될 예정이다.
범인을 검거하기 위해서는 몽타주를 공개한 뒤 빠른 시간 내에 제보를 받는 일도 중요하다. 과거에는 몽타주를 붙여놓고 용의자를 발견한 누군가가 제보하기만 기다렸다. 하지만 3D 몽타주 시스템은 범죄자 데이터베이스에 있는 사진과 몽타주를 비교해 유사한 인물을 색출하도록 했다.
더 무섭게 더 어리게, 7개 인상 자동 변환
“원래 얌전하고 부끄러움 타는 사람이었어요.” “주변 이웃에게도 항상 밝게 인사하고 착한 사람이었는데….”
파렴치한 범죄자를 검거한 뒤 주변인의 증언을 들어보면 믿기 힘든 이야기가 나올 때가 있다. 평소에 밝고 유난히 순해 보였던 사람이었는데 잔혹한 범죄를 저질렀다는 사실이 믿기지 않는다는 얘기다. 한마디로 피해자나 목격자가 기억하는 모습과 평소 용의자의 얼굴은 전혀 다를 수 있다는 뜻이다. 이 때문에 목격자의 진술대로 몽타주를 그리고 나면 “이보다 무섭게 생겼다”거나 “이보다 인상이 부드럽다”는 등 다른 평가가 나오고 결국 수정을 거쳐야 한다.
‘무섭게 생김’에도 사람마다 느끼는 정도가 다르기 때문에 단번에 용의자의 얼굴을 완성하기란 불가능하다. 그래서 3D 몽타주 시스템에는 ‘무서운’ ‘어리게 보이는’ ‘신뢰감 있는’ ‘매력적인’ ‘비열한’ ‘권위적인’ ‘지적으로 보이는’ 등 7개 인상을 자동으로 변환하는 기술이 들어 있다.
이 기술을 개발하기 위해 평가자 20명에게 900명의 얼굴 사진을 보여줬다. 그리고 900명의 얼굴 인상을 7단계로 나누고 1~7점으로 인상 점수를 매기도록 했다. 예를 들어, 가장 무서운 얼굴에는 7점을, 전혀 무섭지 않고 착한 느낌의 인상에는 1점을 주는 식이다. 이런 식으로 7개 인상 각각에 대해 점수를 매기고 이를 토대로 인상이 변환되도록 했다.
이 기술을 이용하면 해당 얼굴이 크게 변하지 않는 범위에서 임의로 더 무섭게 또는 더 매력적으로 얼굴을 변형할 수 있다. 목격자가 느꼈던 것보다 용의자가 훨씬 무섭거나 매력적이거나 비열한 인상일 때 어떤 모습일지 예측하기 위해서다.
70년 지난 이산가족 얼굴 예상
몽타주는 용의자뿐 아니라 피해자를 찾을 때에도 사용된다. 실종 아동을 찾기 위해 사진을 공개하는 경우를 봤을 것이다. 하지만 사진이나 영상만으로는 미아를 찾기가 쉽지 않다. 특히 오랜 시간이 지난 경우에는 아이의 얼굴이 변해 찾기가 더욱 힘들다.실종 아동 본인도 자신의 어린 시절 얼굴을 모를 수 있다.
미국 국립실종학대아동센터(NCMEC)는 수년 뒤 아동의 얼굴을 예측할 수 있는 얼굴 변환 프로그램을 개발해 미아 찾기에 활용하고 있다. 실종 당시 사진과 부모, 형제 등 가족사진을 이용해 실종 아동의 현재 나이에 해당하는 얼굴을 예측하고 포토샵으로 수정해 몽타주를 만드는 방식이다.
하지만 이 프로그램은 전문가가 직접 사진을 수정하게 돼 있어 전문가의 경험이나 능력에 따라 결과물의 완성도가 좌우된다는 한계가 있다. 또 미국인의 데이터베이스롤 토대로 하는 만큼 국내에서 활용하기도 어렵다.
연구팀이 개발한 3D 몽타주 시스템에는 현재나 과거의 나이를 적용해 얼굴이 변하는 모습을 예측할 수 있는 기술도 개발해 넣었다. 각기 다른 400명의 나이와 얼굴 사진을 이용해 나이가 들면서 얼굴이 어떻게 변하는지 분석했다. 얼굴 모양과 생김새, 주름 등 9군데와 피부에서 3군데 특징을 조사해 취합했다. 이를 토대로 수학적 모델링을 통해 만 5세부터 한 살 단위로 80세까지 얼굴이 변화하는 모습을 데이터화했다.
나이변환 기술을 활용하면 장기 미제(未濟)사건의 용의자나 수십 년 전 실종된 아동의 얼굴을 예측할 수 있다. 실종 아동의 현재 모습을 예측해 실종자 찾기에 활용하고, 예전 몽타주로부터 오랜 시간이 흐른 뒤 현재의 모습을 예측해서 용의자 제보를 받는 목적으로 활용하고 있다.
2015년 초에는 나이변환 몽타주 기술이 의외의 일에 활용됐다. 당시 제일기획은 광복 70주년을 기념해 이산가족에게 뜻 깊은 선물을 주고 싶다며 필자에게 연락했다. 당시 몽타주 시스템을 완성해가던 중이어서 정신없이 바빴지만 이 기술이 좋은 일에 조금이나마 도움이 될 수 있겠다는 생각에서 흔쾌히 지원하기로 했다.
대한적십자사가 이산가족을 대상으로 사진을 모으고, 사진의 해상도 등을 고려해 선별 과정을 거쳐 23가족을 선발했다. 그리고 연구팀은 나이변환 몽타주 기술을 바탕으로 이산가족의 현재 모습, 즉 사진으로부터 약 70년이 지난 모습을 재현하는 작업을 진행했다. 국내에 남아 있는 가족은 마치 멀리 떨어져 있는 가족과 함께 촬영한다는 기분으로 사진을 찍었고, 그 사진에 우리가 재현한 이산가족의 사진을 합성했다.
이렇게 만든 사진은 그 해 광복절 한 매체의 전시관에 전시됐다. 이산가족들은 사진으로나마 북한에 있는 가족과 상봉할 수 있었다며 감격했다. 기술은 이렇게 삶을 안전하고 윤택하게 만들어줄 뿐만 아니라, 어떤 이들에게는 크나큰 감동과 보람을 선사하기도 한다.
현재 연구팀은 나이변환 기술의 정확도를 올리는 방법을 연구하고 있다. 또 해상도가 낮은 CCTV 영상을 선명하게 만드는 기술도 개발하고 있다. 특히 세월에 따라 변하는 얼굴은 단순히 통계적인 특성만 추가하는 것만으로는 한계가 있다. 그래서 가족의 유전적인 요인 등을 반영해 훨씬 정교하고 정확한 몽타주를 만드는 기술을 개발하고 있다.
몽타주 기술은 아직도 해결해야 할 부분이 많고 기술적인 한계도 분명히 있다. 기술을 개발할수록 모두가 안전한 환경에서 살아가고, 수많은 실종 어린이들이 가족의 품 안으로 돌아갈 수 있다는 생각에 힘을 얻고있다.
▼관련기사를 계속 보시려면?
