구독상품안내
가상현실은 ‘실제와 유사하지만 실제가 아닌 인공 환경’을 말한다. 넓은 의미로 보면 기존 영화나 컴퓨터 게임도 가상현실에 들어간다. 하지만 과학자들과 IT기업이 지난 50년간 만들려고 시도해온 기술은 차원이 다르다. 사용자의 오감을 자극해 세상에 없는 시공간을 마치 현실처럼 느끼도록 하는 ‘진짜’ 가상현실 기술이다. 그 선두에는 눈을 감싸는 HMD 장비 개발이 있다.
인간의 감각기관 중 가장 많은 정보를 받아들이 는 기관은 눈이다. 눈만 완벽히 속여도 가상현실 이 성공할 확률이 높아진다. 사람의 시각능력을 장악 하는 HMD(Head Mount Display·머리 덮개형 디스플 레이)가 가상현실 연구 초기부터 등장하는 이유다. 거 슬러 올라가보면 역사가 무려 50년이나 됐다. 긴 시간 동안 굽이굽이 변곡이 많았지만, HMD를 연구하는 사 람들의 목표는 항상 같았다. ‘사람의 눈을 속여라.’
눈을 닮도록 진화한 HMD
HMD는 종류가 다양하고 원리도 제각각이다. 하지 만 ①앞이 보이지 않도록 눈을 가리고 ②렌즈를 통해 ③화면에 뜬 가상현실을 본다는 점은 같다. HMD를 써도 맨 눈으로 볼 때와 최대한 비슷해야 가상현실이 실감나고, 몰입감이 생긴다. HMD는 시야각, 해상도, 반응속도 순으로 눈을 닮아왔다.
몰입감에 가장 큰 영향을 미치는 건 시야각이다. 컴퓨터나 TV가 제아무리 현실묘사력이 좋아도, 눈 을 살짝만 돌리면 다른 세상(현실)이 보이기 때문에 몰입감이 떨어진다. 일단 시야 전체를 꽉 채우지 않으 면 현실이라고 느낄 수 없다. 사람의 시야각은 좌우 로 평균 120° 정도인데, 눈을 움직이면 같은 자세에서 최대 180°까지 볼 수 있다(사람은 눈이 앞쪽으로 몰 린 편이라 새나 초식동물에 비하면 시야각이 좁다).
위아래로는 135°다. 위보다는 아래쪽으로 더 많이 볼 수 있다.
초창기 HMD는 시야각이 형편없었다. 1968 년 미국의 컴퓨터과학자 이반 서덜랜 드가 개발한 최초의 HMD는 좌 우로 40°밖에 볼 수 없었다. 밤 에 불을 끄고 TV를 보는 그 림을 상상하면 된다. 이런 좁은 시야각을 획기적으로 넓힌 사람은 미국의 광학자 에릭 호렛이다. 호렛은 1979년 볼록렌즈를 여러 층으로 설치해 시야 각을 120°까지 넓히는 광시야각확장기술(LEEP)을 개발했다. 1983년 LEEP를 적용해 만든 HMD를 쓰고 화면 정면에 있는 가상물체에 초점을 맞추면 주위 배 경이 느껴지지 않을 정도였다. 1985년부터 미국항공 우주국(NASA)에서 우주비행사 교육에 사용하기 시 작했다.
1991년엔 IT기업 세가(SEGA)에서 헤드트래킹 기 술을 개발했다. HMD를 쓴 사용자가 머리를 움직이면 화면이 자동으로 따라가도록 한 기술이다. 정면을 바라 본 상태에서 고개를 이리저리 돌려도 여전히 화 면 안에 있었다. 시야각 문제를 말끔히 해결 한 기술적 진보였다. 그런데 이상한 건 LEEP이 개발된 뒤에도 HMD 대 부분은 시야각이 15~45°에 불 과했다는 사실. 바로 최근까 지도 말이다. 시야각 확장 때문에 생긴 부작용 때문 이었다.
시야각만 넓어지면 뭐하나
문제는 해상도였다. 렌즈로 중저화질 화면을 뻥튀기하듯 부풀 리니 픽셀이 눈에 뻔히 보일 수밖에 없었 다. 모기장(?)을 연상시키는 이런 화면은 현실감을 뚝 떨어뜨렸다. 연구자들은 어차피 몰입감이 없을 바에야 선명하게라도 보는 게 낫겠다는 생각에 시야각을 줄였 다. 시야각을 다시 넓히려면 픽셀이 보이지 않을 정도로 해상도를 높이는 기술이 필요했다.
돌파구는 빔 프로젝트 기술에서 나왔다. 빔 프로 젝트는 영상을 확대하는 기술이라고 생각하기 쉽지 만, 사실은 반대다. 손톱만한 마이크로 디스플레이 에 고해상도로 영상을 재생시키는 기술이 핵심이다. 그러려면 픽셀 크기가 굉장히 작아지고, 반대로 숫 자는 많아져야 한다. 최근 액티브 매트릭스 액정디 스플레이(AMLCD)나 유기발광 다이오드(OLED)가 발달하면서 풀HD급 영상(1920x1080)을 1인치보다 작은 칩에 담을 수 있게 됐다.
하지만 풀HD 해상도를 가진 현재의 HMD는 시야 각 1°에 들어가는 픽셀 수가 16개에 불과하다. 57개인 아이폰4에 비해 훨씬 적다. 그래서 눈 밝은 사람에겐 픽셀이 보인다. 왜 HMD 회사들은 해상도를 높여서 몰입감을 높이지 않을까. 풀HD보다 해상도가 두 배 높은 UHD 기술도 있는데 말이다.
시각능력의 마지막 조건, 바로 반응속도 때문이다. 우리 눈으로 빛이 들어와 망막에 맺히면 전기화학적 신호가 시신경을 타고 뇌의 시각중추로 전달된다. 여 기까지 걸리는 시간이 0.02초(20ms)다. 고개를 홱 돌 리면 뇌가 바뀐 시각정보를 인지할 때까지 이 정도 시 간이 걸린다. 한편 귀 속의 세반고리관에서도 몸의 위 치가 바뀌었다는 정보를 뇌로 전달한다. 만약 두 정보 가 일치하지 않으면? 뇌가 이상을 느껴 멀미가 발생 한다. 현재 HMD는 대부분 반응속도가 20ms보다 길 어서, 오래 사용하면 현기증이나 구역질이 생긴다.
해상도를 높일수록 컴퓨터가 영상을 처리하는 시 간이 오래 걸린다. 더구나 입체감을 표현하기 위해 왼 쪽과 오른쪽 눈에 다른 영상을 쏴 줘야 한다(3D 영화 처럼). 2D 화면에 비해 영상처리 시간이 두 배나 걸린다. 현재 출시를 앞두고 있는 HMD들이 해상도를 낮 은 수준으로 유지하는 건 반응속도를 0.02초 이하로 줄이기 위해서가 크다.
반응속도를 획기적으로 줄이는 방법이 없을까. 미 국 IT기업 AMD에서는 최근 ‘리퀴드 VR’이라는 새로 운 기술을 도입해 반응속도를 0초에 가깝게 줄이겠 다는 포부를 밝혔다. 리퀴드 VR에서 반응속도를 줄 이는 기술은 크게 4가지다. 최신정보갱신, 비동기식 쉐이더, 멀티 GPU, 디스플레이 직접연결이다. 최신정 보갱신은 HMD의 움직임에 맞춰 시선이 닿는 곳의 이 미지를 빠르게 가져오는 기술이다. 그래픽처리장치 (GPU)가 메모리에서 최신 정보를 지속적으로 불러 오도록 해 렌더링(영상을 만드는 작업)에 걸리는 시 간을 줄여준다.
비동기식 쉐이더는 중앙처리장치(CPU)와 GPU, 메 모리, 저장장치 등이 순서대로 하던 렌더링 작업을 한 번에 진행시킨다. 요리로 치면 재료를 다듬고 익히고 담는 과정을 동시에 진행해 식탁을 좀 더 빠르게 차리 겠다는 말이다. 멀티 GPU는 GPU를 두 개 이상 사용 해 HMD에 영상을 빠르게 출력하는 기술이다. 왼쪽 과 오른쪽 눈으로 보는 영상을 각각 다른 GPU가 처리 하도록 해 속도를 빠르게 한다. 마지막으로 디스플레 이 직접연결은 중간에 운영체제를 거치지 않고 GPU 와 디스플레이를 바로 연결해 속도를 높이는 방법이 다. AMD의 샤샤 마린코비치 이사는 지난 3월 27일 서울을 방문해 리퀴드 VR 기술을 발표하는 자리에 서 “지연시간을 완전히 없애야 가상현실의 가치를 제 대로 알 수 있다”고 말했다.
HMD는 사람의 시각능력을 닮도록 진화했다. 진 화의 마지막 단계는 영상을 빠르게 처리하는 렌더링 기술이다. 정보 처리속도와 관계있는 중앙처리장치 (CPU)와 영상 출력속도와 관계있는 그래픽처리장치 (GPU)가 발달하면 진짜 같은 가상현실에 한 걸음 다 가설 수 있을 것이다.
현실을 닮아가는 가상현실
가상현실 기기는 사람의 감각을 빠르게 닮아가고 있다. 그런데 기기를 통해 볼 ‘가상현실’ 그 자체는 실제 현실을 얼마나 닮아가고 있을까. 가상현실 제작회사인 인디고 엔터테인먼트의 김주철 대표는 “3D 엔진 등 소프트웨어가 HMD 등 하드웨어보다 앞서있다”고 말한다. 김 대표는 현재 경주세계문화엑스포 조직위원회와 함께 ‘석굴암HMD 트래블 체험관’을 만들고 있다. 8월 21일부터 경주에서 열리는 엑스포 현장에서 석굴암 내부를 체험할 수 있는 가상현실을 공개할 예정이다.
기자가 HMD를 쓰고 미리 체험해 본 석굴암은 진짜보다 더 진짜 같았다. 일단 입체감에서 차원이 달랐다. 손을 뻗으면 불상의 무릎을 당장이라도 만질 수 있을 것 같았다. 질감도 실제 돌과 똑같았다. 김 대표는 “문화재청에서 고해상도 3D스캔사진을 받아 만들었다”고 했다. 경주가 고향인 기자도 이런 경험은 처음이었다. 늘 유리창을 통해서만 바라볼 수 있었던 내부에 발을 디뎠다고 생각하니 신기했다. 석굴암 안에는 그동안 미처 몰랐던 조각상이 꽤 많았다. 김 대표는 “현재 옴니(123쪽 참조)를 주문해놓은 상태인데, 출시되는 대로 들여올 계획”이라며 “엑스포 때는 사용자가 걸어 다니며 자유롭게 관람할 수 있게 할 것”이라고 말했다.
가상현실답게 일부 게임요소도 넣었다. 사천왕에게 특별한 아이템을 줘야 비도(석굴암 입구․불교에서 하늘과 땅을 잇는 통로)를 지날 수 있다. 불상 이마에 박혀있던 보석을 석굴암 한쪽 구석에 숨겨놔 직접 찾게 하는 미션도 있다. 보석을 원래 자리로 돌려놓으면 동해바다에서 해가 떠올라 불상을 비춘다. 석굴암을 만들 때 신라 사람들이 고려했던 점과 종교적인 의미를 가상현실로 구현한 것이다.
우리나라에서 가상현실로 문화재를 직접 체험할 수 있게 만든 건 이번이 처음이다. 김 대표는 “실제를 가상에 얼마나 정확히 옮기느냐가 디지털 문화재 복원의 핵심”이라면서 “원본과 조금만 달라도 ‘디지털 문화재’라고 부를 수 없다”고 말했다. 그런 점에서 완전히 새로운 가상현실을 만드는 것보다, 실제 현실을 가상으로 옮기는 작업이 더 어렵다고 강조했다.
가상현실은 실시간으로 사용자의 움직임에 반응해야 해, 무작정 고해상도를 쓸 수 없다. 반응속도가 떨어지기 때문이다. 저해상도를 쓰면 질감이 확 떨어져 보인다. 김 대표는 고화질과 저화질을 섞어 쓰는 방법으로 이 문제를 돌파했다. 석굴암 불상을 멀리서 볼 때는 화질을 낮추고, 가까이 다가가서 볼 때는 높인다. 아쉬운 점은 고화질 CG를 구현할 수 있는 HMD가 없다는 것. 김 대표는 “최근 HMD 성능이 빠르게 좋아지고 있어 이를 염두에 두고 고해상도로 제작했다”고 밝혔다.
경주세계문화엑스포 조직위원회에선 석굴암을 시작으로 앞으로 신라시대 유적, 이스탄불 성소피아성당, 캄보디아 앙코르와트 등을 가상현실로 제작할 예정이다. 이를 바탕으로 실크로드 테마파크가 조성된다. 문화재청에서도 세종시에 디지털 문화유산 박물관을 만드는 등 현실을 가상 속으로 넣는 작업을 계속 진행할 계획이다.
내 동작 따라하는 가상의 나
현실의 사용자 정보를 가상현실 안으로 넣어주는 장비도 활발히 연구되고 있다. 대표적으로 마이크로소프트에서 만든 동작인식 장비 키넥트(Kinect)가 있다. 키넥트는 오큘러스 리프트와 함께 가상현실을 만드는 전 세계 개발자들의 필수품이다. 움직이는 사람 에게 적외선을 쏜 뒤 반사시간을 분석해 3차원 공간 에 위치정보를 표시한다. 사람이 서 있을 때 각 신체 부위와 관절 위치를 비교적 정확히 파악할 수 있다.
하지만 약점이 있다. 아직 손가락을 제대로 인식하 지 못하는 것. 관절이 많은 데다 워낙 다양한 방향으 로 움직여서다. 작년 7월 출시된 키넥트 2.0은 이전 버 전보단 나아졌지만 여전히 손가락을 한 덩어리로 인 식하곤 한다. 가상현실에서 물건을 쥐거나 버튼을 누 르려면 손가락을 정확히 인식할 수 있어야 하는데, 꽤 큰 문제다. 적외선 카메라 두 대로 손동작만 인식하는 립모션(Leap Motion)을 함께 쓰면 좀 낫긴 하다. 하지 만 립 모션도 손끝이 카메라를 향하고 있을 때는 인식 이 부정확해지고, 사용범위가 매우 좁다.
좀 더 정교한 기술은 없을까. 임화섭 KIST 영상미 디어연구단 선임연구원은 키넥트로 손가락 관절을 정확히 추적하는 소프트웨어를 개발하고 있다. 두 가 지 방법이 있다. 하나는 3D모델을 만들어 다양한 손 동작을 취하게 하고, 실제 손동작과 비교하는 3D모 델 정합방식. 또 하나는 키넥트가 적외선으로 찍은 ‘뭉개진 손 모양’ 그림에서 사람이 직접 엄지와 검지를 하나하나 구분해 컴퓨터에게 가르쳐 주는 기계학습방식이다. 사진 수십만 장을 사람이 검토해야 해 시간 이 오래 걸린다는 단점이 있지만, 자료가 쌓이면 훨씬 정확해진다.
임 연구원은 “현재 두 방법을 섞어서 소프트웨어를 만들고 있다”고 말했다. 3D모델에다 손가락별로 다 른 색을 칠한 뒤 다양한 손동작을 취하게 한다. 이걸 본 따 실제 손으로 동작을 취한 뒤 적외선으로 인식해 기계학습하면 된다.
아예 카메라 없이 팔 근육에 흐르는 전기신호로만 동작을 인식하는 장비도 있다. 캐나다 워털루대 학생 3명이 모여 세운 회사 ‘탈믹랩’에서 만든 장비 마이오 (MYO)다. 마이오를 팔에 차면 센서 8개가 팔 근육에 서 흐르는 전기신호를 인식해 카메라보다 훨씬 정확 하게 손과 팔의 움직임을 인식한다. 작년 6월 소비자 버전이 나왔다. 인식범위가 15m로 키넥트보다 훨씬 넓어 사용하기 편리하다.
INSIDE | 시각을 넘어 ‘오감’으로 가상현실 만끽하자
1.고개방향 따라 달라지는 소리우리는 귓바퀴가 있어서 앞뒤에서 오는 소리를 다르게 듣는다. 소리만 듣고도 귀에서 어느 거리와 각도로 떨어져 있는지 대충 짐작할 수 있다. 연구자들은 귀와의 상대적인 거리에 따라 소리가 달라지는 현상을 수학적으로 계산해 머리전달함수를 만들었다. 가상 공룡이 앞에서 다가올 때 오큘러스 ‘크레센트 베이’를 낀 고개를 반대 방향으로 돌리면 소리가 다르게 들린다(뒤통수에서 그르렁거리는 소리가 더 섬뜩하다). 소리는 야외와 실내 등 공간에 따라서도 달라진다. 가상현실과 비슷한 실제 공간에서 미리 소리를 녹음해 공간전달함수를 만든다.
2. 22가지 냄새에 습기까지HMD 시장에 재빠르게 발맞춰 나온 가상후각 장비가 있다. 최근 미국에서 사전주문을 받기 시작한 필리얼(FeelReal)이다. HMD 아랫부분에 붙여 코와 입을 가리도록 제작됐다. 필리얼은 가상현실과 연동해 실제 냄새와 비슷한 화학물질을 코 주위로 내뿜는다. 한 번에 7가지 냄새를 장비에 담을 수 있는데, 현재 불, 바다, 정글, 공장, 화약, 커피, 꽃, 고기, 양주, 딸기, 최음제, 향수 등 22가지 냄새를 보유하고 있다. 냄새뿐 아니라 진동과 습기도 느낄 수 있다. 가상현실에서 바다로 뛰어들면 미세한 진동과 함께 축축한 습기를 뺨으로 느낄 수 있다. 비릿한 바다 내음도 맡으며.
3.열과 전기자극으로 느끼는 6가지 맛 (개발 중)싱가포르 연구진은 내년 상반기 이전 상용화를 목표로 가상미각 장비 ‘Taste+’를 개발하고 있다. 텀블러나 숟가락 모양으로 생긴 이 장비는 입이 닿는 부위에 전극이 설치돼 있다. 액체를 마시거나 음식을 먹을 때 자동으로 혀에 미세한 전기자극이 간다. 연구팀을 이끌고 있는 싱가포르국립대 니메샤 라나싱어 박사는 “혀에 전기자극과 온도자극을 주면 맛을 느낄 수 있다”고 말한다(올해 4월 영국 언론 아이비타임즈와의 인터뷰). 예를 들어 20~30℃에서 60~180μA(마이크로암페어, 우리 몸의 생체전류 수준)를 흘려주면 신맛을 느낄 수 있다. 단맛은 온도를 35℃에서 25℃로 지속적으로 낮춰주면 된다. 신맛, 짠맛, 쓴맛, 감칠맛, 매운맛, 단맛을 모두 느낄 수 있다.
4.손바닥으로 느끼는 초음파의 촉감 (개발 중)가상촉각은 그동안 주로 특수장갑이나 특수옷을 개발하는 쪽으로 연구가 진행됐다. 그런데 앞으론 장갑을 끼지 않고 맨 손으로도 촉감을 느낄 수 있을지 모른다. 영국 벤처기업 ‘울트라햅틱’은 가상현실과 연동해 실제 공간에 초음파를 쏴 3D 물체의 촉감을 느끼게 하는 기술을 개발하고 있다고 올해 4월 발표했다. 초음파가 나오는 패드를 바닥에 한 장 깔기만 하면 된다. 브리스톨대 컴퓨터과학과 스리람 서브라마니안 교수는 ‘로이터’와의 인터뷰에서 “콘서트에 놀러갔을 때 소리진동을 가슴으로 느낄 수 있는 것과 같은 원리”라며 “40kHz 초음파는 눈에 보이지 않고 소리도 없지만 손바닥에 촉감을 줄 수 있다”고 말했다.
5. 가상과 현실에서 함께 달린다가상움직임 장비는 옴니 트레드밀(Omni-Treadmill)이 선두다. 현재 사전주문을 받는 단계다. 옴니는 허리와 다리에 지지대를 달아 사람을 제자리에서 움직일 수 있게 하는 장비다. 몸은 가만히 있고 HMD 화면 속에서만 빠르게 움직이면 멀미가 나는데, 옴니가 있으면 몸의 움직임과 가상현실 속 움직임이 일치하기 때문에 멀미가 나지 않는다. 전용신발을 신고 걷거나 뛰면 가상현실에서도 똑같이 움직임이 느껴진다. 쭈그려 앉기 등 다양한 동작이 가능하다. NASA 제트 추진연구소에서는 오큘러스 리프트와 옴니 개발자 버전을 이용해, 화성을 가상으로 여행하는 실험을 진행하기도 했다.
6. 몸 전체로 가상을 느낀다(개발 중)가상현실을 꼭 서서 경험해야 하는 건 아니다. 앉은 채로 더 실감나는 가상현실을 경험할 수도 있다. 한국전자통신연구원 (ETRI) 가상현실연구실에서는 HMD를 끼고 패러글라이딩을 경험할 수 있는 모션 플랫폼을 개발하고 있다. 6축(X·Y·Z축 움직임과 축마다 회전)으로 움직이는 장비에 앉아 실제 패러글라이딩을 조종하듯이 장비를 움직일 수 있다.
‘HMD 춘추전국시대’가 갑자기 열리면서 시각 외에도 청각이나 촉감, 미각, 후각을 흉내 내는 가상현실기기 연구자들도 덩달아 바빠졌다. HMD에 이런 가상감각 장비까지 결합해 사용하면 가상현실을 온전히 즐길 수 있을 것이다.
