d라이브러리

‘게임 속으로 들어가고 싶다’고 생각한 적 있나요? 예전에는 상상 속에서나 가능했지만, 이제는 아닙니다. 아이디와 패스워드만 알면 누구나 들어갈 수 있거든요. 여러분한테만 특별히 알려줄 테니 잘 들으세요. “아이디는 ‘가상현실’, 패스워드는 ‘수학’!”

얼마 전 개봉한 영화 ‘레디 플레이어 원’의 주인공 웨이드는 하루의 대부분을 ‘오아시스’라는 게임 속 가상세계에서 보냅니다. 현실에서는 이모 집에 얹혀 사는 무기력한 소년이지만, 게임 속에서만큼은 멋진 헤어스타일을 가진 ‘파시발’이 되어 다양한 모험을 하지요.

재밌는 점은 파시발이 마우스로 조종하는 모니터 속 캐릭터가 아니라는 겁니다. 파시발은 웨이드가 움직이는 대로 움직이고, 웨이드는 가상세계에 있는 물건을 보고 만지거나 집을 수 있습니다. 게임 속 캐릭터를 조종한다기보다 실제로 캐릭터가 된 거라고할 수 있죠.

영화에서나 가능한 거 아니냐고요? 꼭 그렇지만은 않습니다. 실제로 가상현실(이하 VR) 기술과 게임이 만나 비슷한 일이 벌어지고 있거든요.

가상세계로 가는 첫 단추, HMD

우리가 ‘가상세계에 들어와 있다’고 느끼려면 가상세계를 이루는 풍경이나 사물, 사람이 내 주변에 있어야 합니다. 정말로 있다고 느끼게 해주는게 중요한데, 이때 필요한 장치가 VR 전용 헤드셋HMD(Head Mounted Device)예요.

우리 눈에 가상세계를 보여주는 HMD는 1900년대 중반에 처음 등장했지만, 요즘과 비슷한 기능을 갖춘 건 2000년이 지나서예요. 사실 HMD로 보는 가상세계는 모니터로 보는 컴퓨터 게임 속 가상세계와 비슷합니다. 다른 점이 있다면 컴퓨터 게임은 마우스로 시선을 움직이고, HMD는 직접 고개를 돌려 시선을 움직인다는 겁니다. 상하좌우 어디로 고개를 돌려도 그 방향에 있는 가상세계의 모습을 보여주는 거지요.

이게 가능한 이유는 HMD 안에 있는 자이로 센서와 가속도 센서 때문입니다. 착용한 사람이 고개를 돌리면 두 센서가 각각 x, y, z축 방향을 기준으로 얼마나 많이, 얼마나 빠르게 회전했는지 감지해서 3차원 그래픽으로 만들어진 가상세계를 반대방향으로 움직여 실제로 시선이 이동한 것처럼 느끼게 합니다. 결국 HMD는 ‘눈에 쓰는 마우스’라고할 수 있어요.

진화하는 VR 게임

다음 단계는 좀 더 ‘생생’하게 느끼도록 만드는 거예요. 만약 가상세계에서 자동차를 타고 움직인다고 생각해 보세요. 자동차의 속도와 방향에 맞춰 가상세계를 움직이면 실제로 움직이는 것처럼 보일거예요.

하지만 보는 것만으로는 부족합니다. 완벽하게 자동차를 타는 것처럼 느끼려면 실제로 탔을 때 생기는 관성이나 얼굴에 스치는 바람도 느낄 수 있어야 하니까요. 롤러코스터에 탔다면, 급격하게 내려갈 때 기울기와 중력의 변화도 느껴야 합니다.

그래서 나온 게 ‘VR 시뮬레이터’예요. VR 시뮬레이터는 자동차, 롤러코스터 같은 탈 것을 일부 재현한 장치로, 게임 속 탈 것의 움직임에 맞춰 시뮬레이터가 실제로 기울어지거나 흔들려서 정말 타고 있는 것처럼 느낄 수 있지요.

나와 캐릭터의 연결고리, 수학!

이제 게임 속 캐릭터로 변신할 차례입니다. 캐릭터가 된다는 건, 가상세계에서 캐릭터를 만든 뒤 HMD와 장갑, 조끼, 총 등에 달린 센서의 위치좌표를 가상세계 속 캐릭터의 머리, 손, 몸통, 총의 위치좌표와 실시간으로 일대일대응시킨다는 뜻이에요. 이런 기술을 ‘모션 트래킹’이라고 불러요.

예를 들면 센서가 달린 장갑을 끼고 손을 움직이면 센서의 위치가 바뀌고, 컴퓨터가 위치 변화를 계산해 캐릭터의 손도 똑같이 바꾸는 거예요.

VR 체험장 주위에는 모션 캡쳐용 카메라가 있는데, 카메라가 적외선을 쏘면 각 장치에 달린 ‘강체’에 반사돼 다시 카메라로 돌아가요. 이때 적외선이 도착하는 데 걸리는 시간 차이를 계산해 위치를 파악하지요.

여러 사람과 같은 가상공간에 있으려면 센서의 위치뿐 아니라 플레이어가 서로 겹치지 않게 캐릭터의 위치를 포착하는 ‘포지션 트래킹’도 중요합니다. 적외선 카메라를 이용하면 어느 정도 추적이 가능하지만, 오차가 커서 자칫 같은 체험장 안에 있는 플레이어끼리 부딪칠 수 있거든요. 이때는 ‘삼각 측정법’을 이용해 오차를 줄일 수 있어요.

가상현실과 AI의 만남

게임 속 주인공이 되기 위한 마지막 단추는 바로 인공지능(AI)이에요. 가상세계에는 플레이어뿐 아니라 상점 주인이나 안내원, 공룡이나 트롤 같은 몬스터도 있어야 하는데, 사람이 일일이 이 역할을할 수는 없으니 가상으로 만들어 놓아야 합니다.

그런데 겉모습만 그럴듯하고 정해진 행동만 하면 실제처럼 느껴지지 않을 거예요. 상황이나 플레이어의 행동을 분석해 그에 맞는 반응을 보여줘야 하지요. 이때 필요한 게 바로 인공지능입니다.

실제 같은 캐릭터를 연출하려면 얼굴 표정을 인식하는 페이스 트래킹, 음성인식, 기계학습 같은 AI 기술을 모두 이용해야 합니다. 예를 들어 AI 공룡은 스스로 판단해 잠을 자거나 먹이를 먹고 거리를 활보합니다. 그러다 플레이어가 작은 소리라도 내면 그쪽으로 고개를 돌리죠.

플레이어와 눈이 마주친 공룡은 표정을 분석합니다. 겁에 질렸다고 판단하면, 쫓아와 위협하지요. 무사히 도망쳤다고 해도 사용자의 얼굴과 행동 패턴을 기억하고 있기 때문에 다시 만나면 또 도망쳐야 할 거예요.

상점 주인도 마찬가지입니다. 똑같은 대화를 주고받는 게 아니라 플레이어의 얼굴과 표정을 인식해 이름을 부르거나 안부를 묻고, 내가 자주 사는 물건을 기억해서 권하기도 하지요. 몇 번 마주하다 보면, 실제 사람으로 착각할지도 몰라요.

가상현실의 진가는 교육용 VR!

VR이 교육과 만나면 더 큰 시너지를 냅니다. VR 시뮬레이터에 타고 바닷속에 들어가 AI로 만든 바다거북을 만난다고 상상해 보세요. 동물을 책이나 영상으로 보는 데 그치지 않고 반려동물을 대하듯 직접 만지고 먹이를 주며 서로 교감하는 거예요.

초, 중, 고등학교에서는 모션 트래킹 기술과 AI를 이용해 여러 체험을 할 수 있습니다. 가상공간에서 다양한 직업을 경험해 보면 진로를 선택할 때 도움이 될 수 있고, 역사 속 장면을 재현한 가상공간에 들어가 더 생생하게 공부할 수 있지요. 또, 요즘처럼 재난이 빈번할 때는 VR을 이용해 재난대비 훈련도 할 수 있습니다.

최철민 ㈜VR라이브파크 대표는 “학교 체육관이나 강당을 이용하면 별다른 시설 없이 몇 가지 장비를 착용하는 것만으로 가상공간을 체험할 수 있다”며, “게임은 일부일 뿐, 가상현실은 교육의 패러다임을 바꿔 놓을 것”이라고 말했습니다.

VR 전문가들은 컴퓨터 처리 능력이 발달하고 장비가 개인에게 보급할 수 있을 정도로 저렴해지면 오아시스 같은 가상현실 게임도 가능할 거라고 합니다. 환상적인 게임 속 세상에 들어갈 날을 기대 해 보세요. 물론, 수학이 열일 좀 해야겠죠?