d라이브러리

인간이 살아가는 현실세계는 보고 듣고 만지는 물리적인 세계와 생각하고 꿈꾸는 정신적인 세계, 과거와 미래 사이를 연결하는 역사·문화적인 세계 이 모두를 포함한다. 따라서 현실세계에서 느껴지는 현실감, 즉 리얼리티는 세 가지 세계가 절묘하게 섞여 만들어진다. 세 가지 세계는 서로 밀접한 관련이 있지만, 눈으로 보는 세계와 머릿속에서 상상하는 세계가 다르듯 서로 분명한 차이가 존재한다.

그런데 최근 이러한 경계가 무너지고 현실보다 더 현실 같은 가상세계가 열리고 있다. 현실과 가상을 리얼하게 혼합하는 이른바 ‘리얼리티 테크놀로지(reality technology, RT)’ 덕분이다. 리얼리티 테크놀로지는 현실과 가상을 어떻게 섞느냐에 따라 크게 두 가지로 나눌 수 있다. 가상세계에 현실을 더해 리얼리티를 재현하는 기술과, 현실세계에 가상을 더해 현실의 리얼리티를 뛰어넘는 방식이다.

영화 속 아바타, 진짜 연기 펼치는 비결

신비로운 형광 빛을 내는 밀림, 키가 크고 얼굴이 새파란 나비족, 익룡처럼 생긴 거대한 새…. 영화 ‘아바타’의 세계 ‘판도라’는 가상세계에 현실의 오감을 재현해 리얼리티를 높인 대표적인 예다. 여기에는 모델링, 애니메이션, 시뮬레이션, 렌더링 같은 여러 가지 리얼리티 테크놀로지가 쓰였다.

현실과 가상을 혼합하는 영화에서는 일반적으로 모델링 기술로 배경과 캐릭터의 형태를 제작하고, 여기에 애니메이션이나 시뮬레이션 기법으로 동작을 입힌다. 옛날에는 사람이 직접 동작을 만드는 애니메이션 방식을 많이 사용했지만 물이나 불 같은 자연현상의 이미지를 만들 때는 한계가 있어 최근엔 시뮬레이션 기법도 많이 쓰인다. 영화 아바타에서 폭포에서 물이 떨어지는 장면이나, 횃불을 휘젓는 장면이 리얼하게 보이는 것도 모두 이런 컴퓨터 시뮬레이션 덕분이다.

영화 아바타의 환상적이고 생생한 색감은 렌더링 기술로 탄생했다. 렌더링은 컴퓨터로 빛의 굴절이나 반사를 계산해서 물체의 그림자나 색상을 결정하는 일종의 가상조명을 만드는 기술이다. 이 조명을 비추면 이미지의 입체감과 색감이 더 리얼하게 나타난다.


한편 나비족의 역동적인 동작과 사실감 넘치는 표정을 만드는 데는 모션캡처 기술이 활용됐다. 사실 이것은 애니메이션이나 컴퓨터 시뮬레이션을 이용해 만들어낼 수도 있었지만, 제임스 캐머런 감독은 실제 배우의 동작과 표정 연기를 100% 본뜨는 모션캡처 기술을 선택했다.

영화 아바타의 배우들은 온몸에 마커를 붙이고 100여 개의 카메라가 사방에 설치된 세트장에서 연기를 펼쳤다. 카메라로 배우의 몸에 부착된 마커들의 움직임을 추적해 수치화한 뒤 이를 바탕으로 컴퓨터에서 가상캐릭터의 동작을 만들었다. 배우의 표정은 특별히 고안된 헤드기어를 이용해 캡처했다. 배우의 얼굴에 100개 미만의 점을 그린 뒤 이 점들의 움직임을 추적해 배우의 표정을 컴퓨터 속의 가상캐릭터에 그대로 옮겼다. 그동안에도 캐릭터에 표정을 입히는 기술은 많이 연구돼왔지만 헤드기어 카메라까지 동원된 것은 영화 아바타가 처음이다. 최종 단계에는 캡처한 동작과 표정을 나비족 가상캐릭터에게 옮기는 모션매핑 기술이 적용된다.

전통적인 모션매핑은 촬영시점이 아니라, 후반 편집과정에서 실시하지만 영화 아바타 제작팀은 캐릭터의 몸동작과 얼굴 표정의 해상도를 적절하게 낮추면서 매핑을 실시간으로 진행했다. 게다가 매핑된 동작을 실시간으로 감독이 여러 각도에서 볼 수 있는 가상카메라 시스템도 최초로 도입했다.

가상카메라는 마커와 모니터가 부착된 사각형 틀로 이뤄져 있는 시스템이다. 감독이 이 틀을 카메라라고 생각하고 연기하는 배우 쪽을 향하면 배우의 움직임이 모니터 속 캐릭터에 그대로 투영돼 마치 캐릭터가 움직이는 듯한 장면을 볼 수 있다. 이는 가상카메라에 부착된 마커 덕분이다. 감독이 가상카메라를 움직이면, 세트장에 설치된 카메라들이 배우 몸에 부착된 마커들을 추적하듯 가상카메라에 부착된 마커들도 추적한다. 가상카메라와 배우의 위치를 알면 둘 사이의 상대적인 위치를 파악해 가상카메라 모니터에 나타나는 아바타 캐릭터의 동작을 실제 배우의 동작과 실시간으로 합성할 수 있다. 얼굴 표정도 비슷한 방법으로 가상카메라에 나타난다.

이런 방식으로 배우를 다양한 각도에서 보면서 영화 속 캐릭터에게 좀 더 잘 어울리는 동작을 감독이 주문하고 수정할 수 있다. 그러면 아바타의 캐릭터는 진짜 배우처럼 자연스러운 연기를 펼치게 된다.

가상카메라 모니터는 아바타 캐릭터의 동작과 표정뿐 아니라, 가상공간의 배경까지 함께 볼 수 있다. 예를 들어 절벽에서 뛰어내려 거대한 새 등에 타는 장면을 연출할 땐 절벽이나 새 위치 같은 배경까지 고려해야 배우가 적절하게 뛰는 동작을 연기할 수 있다. 가상공간의 배경은 컴퓨터에 수치로 저장돼 있어 배우의 위치를 알면 이를 기준으로 자연스럽게 배경을배치할 수 있다. 과거에는 배우의 연기를 캡처해 캐릭터에 합성한 뒤 배경과 최대한 어울리는 동작을 선택하는 데 급급했지만 최근엔 가상캐릭터에 맞는 배경까지 마음대로 옮길 수 있을 만큼 리얼리티 테크놀로지가 발전했다.


양쪽 눈을 본떠 만든 3D 카메라

영화 아바타에서 빼놓을 수 없는 것이 3D기술이다. 우리 눈은 대상을 볼 때 대상의 단순한 형태나 동작뿐 아니라 ‘깊이’를 인식하는데, 3D기술은 이러한 깊이를 재현해 영상의 리얼리티를 높인다.

가로수 길이 멀어질수록 폭이 좁아 보이는 현상, 멀리 있는 물체가 희미해 보이는 현상, 머리를 좌우로 조금씩 움직이면 사물의 다른 면이 보이는 현상은 모두 뇌가 깊이를 인식하는 중요한 단서다. 이는 한쪽 눈으로도 파악할 수 있는 단서다. 반면 양쪽 눈을 동원해 깊이를 보는 경우도 있다. 물체를 볼 때 두 눈에 맺히는 이미지는 약간씩 다르다. 멀리 있는 물체는 두 이미지의 차이가 작지만 가까이 있는 물체는 두 이미지의 차이가 크다. 뇌는 양쪽 눈에 투영된 이미지를 중첩한 뒤 그 차이를 인식해 눈에서 해당 물체까지의 거리, 즉 깊이를 계산한다.

전통적인 2D방식은 두 눈에 동시에 같은 이미지를 투영시키기 때문에 두 이미지 간의 차이가 없어 대상이 멀리 있는 것처럼 보인다. 즉 대상의 깊이를 깊게 느낀다. 하지만 실제로는 대상(스크린)이 멀리 있지 않기 때문에 이런 깊이는 각각의 눈이 느끼는 깊이와 모순된다. 오히려 한쪽 눈으로만 볼 때보다 깊이감이 떨어진다.

3D방식은 동일한 사물에 대해 두 개의 이미지를 생성해 한 이미지는 왼쪽 눈에만, 다른 이미지는 오른쪽 눈에만 보이게 한다. 이런 방식은 촬영할 때부터 조금 특별한 카메라를 쓰는데, 사람의 눈처럼 사이 간격이 조금 벌어진 두 개의 렌즈가 달린 스테레오 카메라가 바로 그것이다. 스테레오 카메라는 한 가지 대상을 두 방향에서 촬영한다. 렌즈는 필요에 따라 초점도 바꿀 수 있다.

이렇게 촬영한 영상을 프로젝터 두 개를 이용해 양쪽 눈에 따로따로 투영하면 실제 두 눈으로 본 것처럼 영상에 깊이감이 느껴진다. 단, 프로젝터 한 개에서 나온 빛이 완벽히 한쪽 눈에만 들어가는 것이 아니기 때문에 맨눈으로 보면 이미지가 겹쳐 보일 수 있다. 따라서 각각의 눈에 한 이미지만 통과시키고 다른 이미지는 차단하는 특수 필터 안경을 쓴다. 안경은 주로 편광방식의 필터를 이용해 만든다.

영화 아바타의 실제 촬영을 할 땐 스테레오 카메라에 가상카메라 시스템을 적용한 ‘동시-캠(simul-cam)’ 기술이 활용됐다. 가상카메라는 배우의 연기를 캡처한 것을 가상배경과 실시간으로 합성하는 데 사용될 뿐, 배우의 연기를 직접 촬영하는 실제 카메라는 아니다. 이에 비해 동시-캠은 가상카메라와 실제카메라의 역할을 동시에 하는 카메라다. 가상카메라 역할을 할 수 있도록 스테레오 카메라에 마커를 달아서 카메라의 위치를 추적했다. 그러면 카메라와 가상배경, 가상캐릭터 간의 위치 관계를 알 수 있어서, 단순히 실제 배우가 블루 스크린을 배경으로 연기하는 모습을 찍어도 카메라에는 가상배경과 아바타 캐릭터가 실시간으로 촬영된다.

최근엔 3D 원리를 이용한 TV도 개발되고 있다. 왼쪽 눈과 오른쪽 눈에 서로 다른 영상을 주입하는 기본 방식은 영화와 동일하지만 보는 사람이 안경을 쓰지 않는다. 그래서 개발된 방식이 TV 양쪽에서 각각의 다른 영상을 X자 모양으로 교차해서 쏘는 방식인데, 여기에도 화면을 한 지점에서만 봐야 한다는 한계가 있다. 최근엔 두 영상을 X자 모양으로 교차해서 여러 방향으로 쏘는 연구가 진행되고 있다. 참고로 2월 25일 삼성전자에서 출시하는 3D TV는 양쪽 눈에 한 가지 영상만 투영되도록 ‘셔터글라스’라는 특수한 3D 안경을 쓰고 보는 방식이다.


현실보다 더 리얼하게 만드는 법 3

영화 아바타처럼 가상세계를 기본 바탕으로 현실을 혼합하는 기법은 상상의 세계를 표현하면서 현실의 리얼리티는 그대로 살릴 수 있다는 장점이 있지만 이런 기술이 스크린이나 컴퓨터 속에서만 가능하다는 한계가 있다. 그래서 최근엔 스크린 밖의 현실세계를 바탕으로 가상을 더하는 리얼리티 테크놀로지가 발전하고 있다.

대표적인 예가 현실 배경에 디지털 콘텐츠를 실시간으로 덧입히는 증강현실(AR, Augmented Reality) 기술이다. 증강현실은 실제로 보고 듣고 만지는 현실이 배경이기 때문에 컴퓨터나 스크린 속에서 현실을 똑같이 재현해 놓은 가상현실(VR, Virtual Reality)보다 현실과 가상현실의 경계가 더 모호하다. 즉 리얼리티가 더 높다. 특히 요즘은 스마트폰 카메라와 애플리케이션을 활용한 모바일 증강현실이 이슈가 되고 있다. 스마트폰 카메라로 거리를 비췄을 때 거리에 있는 상점들의 부동산 정보가 실제 사진과 겹쳐 보이게 한다거나, 현재 위치에서 가장 가까운 지하철역을 보여주는 식이다.

이런 모바일 증강현실은 언제 어디서든휴대전화만 있으면 간편하게 구현할 수 있다는 장점이 있다. 아직까지는 디지털 콘텐츠를 단순히 덧입혀 보여주는 수준이지만 머지않아 가로수 길을 걸을 때, 영화 아바타의 판도라 세계처럼 환상적인 가상세계가 펼쳐지는 수준으로 기술이 발전할 전망이다.

현실에 증강현실을 구현할 땐, 특정 관점에서 본 단순한 이미지가 아닌 3차원 형태가 더해져야 한다. 이를 위한 가장 좋은 방법은 홀로그램 기술이다. 홀로그램은 물체로부터 나오는 빛을 저장했다가 나중에 재생하는 방식이다. 어차피 인간이 물체를 인식하는 것은 물체에 반사된 빛에 반응하는 것이므로 물체가 반사하는 빛을 똑같이 재생할 수 있다면 해당 물체가 없어도 우리 눈에는 실제처럼 보인다. 그런데 빛은 너무 빨라서 촬영하는 것이 불가능하다. 물체에 레이저를 쏴 반사돼 나오는 빛을 간접적으로 기록하는 기술이 있긴 하지만 제작비용이 많이 들어 실생활에는 쓰이지 못하고 있다.

여기에 햅틱(haptic) 기술까지 더해지면 리얼리티는 한 차원 더 업그레이드될 수 있다. 햅틱 기술은 이미 상당부분 실생활에 활용되고 있다. ‘촉각에 의한’이란 뜻을 가진 햅틱은 기존의 시청각 정보에 촉각이나 힘, 운동감을 인공적으로 재현해 좀 더 구체적인 리얼리티를 전달한다. 최근엔 단순한 재현을 넘어서 가상환경과의 상호작용까지도 가능해지고 있다. 이런 햅틱 기술은 특히 의학 분야에서 많이 쓰이는데, 직접 피부 조직을 만지는 것 같은 수술 시뮬레이션이나 실제 수술에 사용되는 햅틱 기능을 갖춘 수술용 로봇이 대표적인 예다.


지난해 3월 영국 런던에서 열린 EPSRC 특별 전시회에서는 이런 햅틱 기술이 적용된 가상현실 헬멧도 소개됐다. 영국 요크대 데이비드 하워드 교수팀과 워릭대 앨런 챌머스 교수팀이 개발한 ‘버추얼코쿤’이라는 이 특수 헬멧은 그동안의 햅틱 장치들과 달리 인간의 오감을 모두 재현해 주목을 받았다. 버추얼코쿤은 특정 장소의 고유한 냄새와 맛, 열기, 음향을 생생하게 구현할 수 있다. 하워드 교수는 “냄새와 맛은 밀접한 관련이 있지만 향후 입 안에 넣는 촉감 장치를 추가해 씹는 느낌까지 재현할 예정”이라고 밝혔다. 이처럼 리얼리티 테크놀로지는 상상의 세계를 현실처럼 리얼하게 재현하고, 현실세계에 상상을 첨가하면서 현실보다 더 현실 같은 세계를 만들어내고 있다.

서로 다른 세계를 통합하고 이것을 경험하게 한다는 것은 리얼리티의 범위가 얼마든지 변할 수 있고 확장 가능하다는 뜻이다. 리얼리티 테크놀로지는 그동안 전기, 통신, 인터넷 기술이 가져온 변화 이상으로 우리가 사는 물리적인 세계, 정신적인 세계, 역사·문화적인 세계 모두에 영향을 미칠 것이다. 그렇게 되면 우리가 사는 현실의 개념과, 그에 따른 리얼리티에 대한 개념도 또 다시 수정되지 않을까. 그때의 리얼리티 테크놀로지는 어떤 모습일지 기대된다.
 

영화 ‘아바타’ 현실에선 가능할까 국내에서 개봉한 외화로는 처음으로 1000만 관객을 돌파한 영화 ‘아바타’가 극장가의 화제로 떠올랐다. 영화에는 대학에서 물리학을 전공했고 30년간 SF영화를 만들어온 제임스 캐머런 감독의 전문 지식과 상상이 듬뿍 묻어 있다. 영화에서처럼 현실과 비현실의 경계를 넘나드는 아바타는 과연 얼마나 현실성이 있을까. 주인공 제이크 설리는 해병대 출신 퇴역군인으로 전투 중 다쳐 다리를 영영 못 쓰는 불구의 몸이다. 하지만 우연한 기회에 만난 어거스틴 박사의 도움을 받아 첨단 신경과학과 생명공학의 조합으로 만든 아바타를 통해 새 삶을 시작한다. 영화 속 현실에선 불구의 몸이지만 자신의 뇌와 접속해 있는 아바타를 통해 마음껏 달리고 뛰고 하늘을 날아다닌다. 제이크와 아바타를 잇는 ‘링크(아바타와 접속 장치)’는 첨단 신경과학과 뇌과학의 현재를 고스란히 보여준다. 뇌와 컴퓨터를 이어주는 일종의 ‘뇌 컴퓨터 인터페이스(BCI)’이다. 실제로 뇌 전기자극을 이용해 척수손상을 입거나 신경이 마비된 환자에게 새로운 삶을 찾아주는 초기 연구가 진행되고 있다. 아바타를 조종하듯 뇌파나 뇌 전기자극을 이용해 근육이나 인공 관절을 동작시키는 신개념 방식이다. 이미 개와 고양이, 원숭이를 이용한 실험은 상당한 성공을 거두고 있다. 2008년 미국 워싱턴대 에버허드 페츠 교수팀은 신경 손상으로 팔이 마비된 원숭이의 뇌와 팔을 전극으로 이어 움직이게 하는 데 성공했다. 연구팀은 원숭이 뇌에 전극을 연결하고 팔 운동에 관련된 신호를 감지했다. 뇌의 신호를 망가진 신경계 대신 직접 근육에 전달해 팔을 움직이게 했다. 앞서 2002년에는 캐나다 앨버타대 연구진이 고양이 뇌에 전극을 꽂아 모터를 작동시켜 ‘생각으로’ 기계와 근육을 움직일 수 있다는 가능성을 처음으로 열었다. 최근에는 직접 뇌에 전극을 연결하지 않고 기능성자기공명영상(fMRI)이나 뇌파(EEG)를 통해 뇌의 명령을 읽어 들이는 기술도 활용되기 시작했다. BCI 연구는 최근 놀라울 정도로 발전했다. 인간과 가장 유사한 휴머노이드를 조작하는 기술도 이미 등장했다. 생각만으로 사람의 동작을 95% 가까이 재현해낼 수 있다. 영화 속 현실은 아니지만 컴퓨터 가상공간의 아바타를 조종하는 일은 지금도 가능하다. 한국과학기술기획평가원(KISTEP)은 BCI를 향후 10년간 우리 생활을 크게 바꿀 10대 유망기술의 하나로 선정했다. 그럼에도 다른 생명체를 생각으로 조종하는 일은 차원이 다르다. 컴퓨터나 로봇을 움직일 단순한 전기신호로 바꾸기는 상대적으로 쉽다. 하지만 나비족 뇌 신호로 바꾸기 위해 수십만 개의 신경세포 조합을 정확히 맞추는 일은 확률상 불가능하다. 무엇보다 영화처럼 인간수준의 고등 사고를 하는 생명체로 만드는 것은 요원한 문제일 수밖에 없다. 물론 나비족을 복제하는 것은 지금도 원리상 가능하다. 복제양 돌리를 비롯해 소, 돼지, 개 등 이미 많은 동물에서 가능성이 입증됐다. 외계인 세포에서 유전자가 담긴 핵을 뽑아 핵이 제거된 난자에 집어넣으면 아바타 태아로 자라난다. 하지만 아바타를 순식간에 어른으로 만드는 것을 불가능하다. 이에 비해 인간과 외계생명체의 유전자를 재조합해 새 생명체를 만드는 작업은 쉽지만은 않다. 과학자들은 외계에 생명체가 있다면 DNA가 우리와 다른 형태일 것으로 보고 있다. 따라서 외계인 DNA와 인간 DNA를 재조합해야 한다. 현재로서 근본이 다른 이종 DNA를 합성하는 것은 불가능하며, 과학자들은 지난해에서야 381개의 DNA 조각을 이어붙이는 방식으로 인공 박테리아의 게놈(유전체)을 만드는데 겨우 성공했다. 물론 먼 미래에는 과학이 발전해 이들 문제를 해결할 가능성은 있다. 사람의 DNA를 외계인 DNA로 번역하는 기술이 나온다면 복제가 좀 더 수월해질 것으로 보인다. 글 박근태 기자 kunta@donga.com

▼관련기사를 계속 보시려면?

2010 리얼리티의 재구성
상상까지 현실로 창조하라, 리얼리티 테크놀로지