d라이브러리

우리나라 육군 훈련소에 신병이 입대하면 빠짐없이 받는 기초훈련 두 가지가 있다. 하나는 사격, 다른 하나는 각개전투. 사격은 꼼짝없이 엎드린 채 총에 실탄을 장전해 고정된 목표물을 쏘는 훈련이다. 각개전투는 장애물을 넘고 은 ․ 엄폐물을 찾아 앞으로 돌진하는 훈련이다. 둘 다 중요한 훈련이지만, 실제 전투와는 차이가 있을 수밖에 없다. 달려가는 동시에 움직이는 물체를 향해 실탄을 쏴야 하는데, 훈련소 여건으론 불가능하다. 실전과 같은 긴장감이 없기에 훈련효과도 떨어진다.

만약 실제 총알이 빗발치는 가운데 움직이는 적을 향해 사격하는 연습을 할 수 있다면, 훈련효과가 훨씬 높을 것이다. 가상 현실에선 이런 일이 가능하다. 제자리에서 움직일 수 있는 가상현실 시뮬레이터 ‘전방향 이동장치’에 올라타, ‘헤드마운트디스 플레이(HMD)’를 착용하거나 360° 실린더형 디스플레이를 보면서 1인칭 총싸움게임(FPS)을 하듯 전투훈련을 하는 것이다. 미국에선 이미 시험용 가상분대훈련 시스템이 개발돼 병사들을 대상으로 시범운영중이다. FPS 게임이야 오래전부터 발달했으니 하드웨어와 게임을 접목시키기만 하면 되지 않을까.



소프트웨어로 움직임 보정

말처럼 그리 간단치는 않다. 실제 병사의 움직임을 콘텐츠 속에 넣는 작업이 쉽지 않다. 일반적인 가상현실 콘텐츠에선 1인칭 시점의 주인공이 앞뒤로 움직이고, 앉았다가 일어서며, 물건을 잡는 수준으로만 움직여도 충분했다. 그 정도만 움직여도 가상현실을 즐기는 데 별 문제가 없다. 하지만 목숨이 오고가는 전투에 내보내기 위해 행하는 군사훈련은 차원이 다르다. 병사의 미세한 움직임까지 정교하게 잡아내야 실전에서 생존율을 높여줄 수 있다. 현재 기술로 미세한 움직임을 포착하기 위해선 다양한 하드웨어를 여러 대 사용해야 한다. 가상현실 군사훈련 시스템을 개발하고 있는 한국전자통신연구원(ETRI)에선 자세인식을 위해 깊이영상 카메라 6대를 동시에 사용한다. 병사가 몸을 화면 반대 방향으로 돌리거나 구부려도 인식에 오류가 없게 하기 위해서다. 자이로 및 가속도, 지자기센서로 구성된 관성센서는 하반신에만 7개를 붙인다. 다리를 구부리거나 붙이는 모든 자세를 파악할 수 있다. 그런데 이렇게 하드웨어를 동시에 많이 사용하다보면, 들어오는 정보끼리 충돌할 수 있다. 정보들의 종류와 정밀도가 다르기 때문이다. 사공이 많으면 배가 산으로 가듯, 하드웨어가 여럿이면 어느 것이 맞는 값인지 판단하기 어렵다. 이를 바로잡아주는 게 소프트웨어다. 대표적인 예로 칼만 필터에 바탕을 둔 자세추정알고리즘(ARS)이 병사의 움직임을 실시간으로 보정한다.
 

수류탄 던지는 행동까지 파악

ETRI에서 개발하는 소프트웨어는 크게 세 가지 모듈로 구성돼 있다. 자세인식 모듈, 위치인식 모듈, 행동분석 모듈이다. 자세인식 모듈은 카메라와 센서로 무릎, 발목 같은 관절의 움직임을 통해 자세를 계산하는 소프트웨어다. 위치인식 모듈은 자세인식 모듈과 전방향 이동장치에서 들어오는 정보를 분석해 이동방향과 속력을 계산하는 소프트웨어다. 행동분석 모듈은 위장비들에서 들어오는 정보를 종합해 무기변경, 수류탄 던지기, 탄창 교환 같은 구체적인 행동 26가지를 인식하는 소프트웨어다. 이런 소프트웨어들이 종합적으로 모여 병사의 움직임을 가상현실로 정밀하게 옮긴다.

하지만 병사의 실제 움직임과 가상현실의 움직임을 완전히 일치시키기엔 아직 갈 길이 멀다. 하드웨어보단 소프트웨어가 특히 그렇다. 이소연 ETRI 융합기술연구소 책임연구원도 “소프트웨어 개발에 많은 인력과 시간을 투여하고 있다”고 했다. 2013년 5월에 시작된 연구는 약 4년간 계속될 예정이다. 가까운 미래엔 병사들이 가상현실에서 실전과 같은 훈련을 할 수 있을까.