d라이브러리

최근 애플이 발표한 확장현실(XR가상현실(VR)과 증강현실(AR) 그리고 혼합현실(MR)을 포괄하는 기술적 개념) 헤드셋인 ‘비전 프로(Vision Pro)’처럼, 가볍고 휴대성이 강화된 헤드 마운티드 디스플레이(HMD머리에 착용하는 디스플레이)의 개발로 VR과 AR이 일상에서 널리 쓰이는 시대가 다가왔습니다.

하지만 아직까지는 이런 환경에서 즐길 콘텐츠가 부족합니다. 많은 사람이 즐길 VRAR 콘텐츠를 제작하려면 널리 주목을 끌 수 있는 스토리 또는 여러 지식재산(IP)이 물론 중요하지만, 한편으로는 MR의 장점을 극대화하는 기술의 발전도 반드시 필요합니다. 모니터 기반의 기존 콘텐츠와 차별화되는, MR에서만 제공 가능한 콘텐츠의 핵심은 손과 발로 그 환경을 직접 느끼며 몰입하는 경험일 것입니다.

가상현실에 몰입감 더하는 2가지 방법

VRAR 콘텐츠의 몰입감을 극대화하려면, 우리가 현실에서 오감을 기반으로 다양한 환경을 인지하듯 이 콘텐츠들도 가상의 환경 또는 물체의 특징들에 대한 감각 정보를 이용자에게 제공해야합니다. 하지만 현재의 HMD 형태는 가상 물체를 시각적인 그래픽 형태로만 제공하므로 완벽한 몰입감을 주는 데는 한계가 있습니다. 그래서 이를 해결하고 가상현실 속 물체들을 실제 물체처럼 감각하도록 돕는 방법을 제시하는 다양한 연구가 진행 중입니다.

이런 방법들은 크게 두 갈래로 나뉩니다. 첫 번째는 시각적인 조작으로 생기는 착시 효과를 공기 저항, 무게감 등의 감각으로 변환하는 방법입니다. 예를 들어 VR HMD를 착용한 상태에서 어떤 가상 물체를 들어올린다고 생각해보죠. 이때 가상현실에서 보이는 손이 실제의 손보다 속도가 느리거나 높이가 낮으면, 고유감각(Proprioception자신의 신체 위치에 대한 감각)과의 차이 때문에 더 무겁다고 인지하게 됩니다.

두 번째는 진동, 모터 등의 기계적인 방법을 활용해 촉각(재질감, 부피, 저항감 등)을 전달하는 햅틱 인터렉션 방법입니다. 그 예로는 프로펠러나 무게추 등의 햅틱 기기를 컨트롤러에 부착하고 사용자가 움직이면 부착된 소형 프로펠러를 움직임의 반대 방향으로 작동시켜 사용자의 움직임을 방해하는 방식으로, 마치 물속에 들어온 듯한 감각을 만드는 기술이 있습니다. 또 촉감 또는 모양을 바꿔주는 물질을 활용해 다양한 가상 물체의 촉감을 구현하는 연구들도 진행 중입니다.

이번 논문의 저자인 페드로 로페스 미국 시카고대 컴퓨터공학과 교수는 탈부착이 가능한 웨어러블 형태로 사람의 몸에 직접 부착하는 햅틱 방식을 주로 연구하고 있습니다. 로페스 교수는 이런 햅틱 기기는 몸에 특정 기술을 탑재할 뿐만 아니라, 사람의 몸을 하나의 입출력 기기로 활용해 또 다른 새로운 시도들을 가능케 할 것이라고 보고 있죠. 그래서 이 논문은 근육을 전기로 자극해 인위적으로 수축시키는 기기인 EMS를 기반으로, VR 속 물체에 맞는 물리적 요소(무게, 움직임 등)를 실제처럼 증강시키는 방법을 제시했습니다. 그리고 이런 햅틱 기기를 실제 MR 게임에 적용해서 사람들의 경험을 측정하고 햅틱 기기의 사용성을 평가했습니다.

사용자의 몸을 매개로 한 햅틱 상호작용 기술

EMS는 자극하려는 부위의 양 끝에 패드 2개를 붙이고 전류를 흘려보냅니다. 중추신경계로부터 활동전위가 발생한 것처럼 자극해 인위적 근육 수축을 유도하는 것입니다. 그래서 팔에 EMS 패드를 붙이고 전기자극을 주면 해당 부위의 근육이 강제 수축됨으로써 의도하지 않아도 팔이 아래 또는 위로 움직입니다. EMS는 원래 재활의료 기기로 주로 사용되다가 최근엔 휴대가 편한 소형 마사지 기기 등으로도 판매되고 있습니다. 이처럼 EMS를 활용하는 분야가 확장되면서 게임, 원격 조작 기기로의 활용도 연구가 이뤄지고 있습니다.

이 논문에서는 EMS의 원리를 활용해, 기기를 팔의 여러 부위에 부착하고 부위별, 전기의 세기 및 주파수별로 다양한 감각을 증강시켰습니다. 그리고 이런 감각을 증강현실 내 물체의 움직임에 연동시켜서 제공했죠. 예를 들어 도마 위에 가상 물체가 부딪힐 때, 그 부딪힘을 느끼도록 삼두근 부위에 200μs(마이크로초100만 분의 1초)당 17mA(밀리암페어)의 전류를 200ms(밀리초1000분의 1초) 동안 가했습니다.

사용자들은 햅틱 효과를 어떻게 느꼈을까

구현한 시나리오들에서 제시한 물리적 감각 증강 시스템이 목적한 대로 사람들에게 작용하는지, 사람들이 이런 자극들을 실제로는 어떻게 인지하는지 등을 평가하기 위해 사용자 실험을 진행했습니다.

일반적으로 인간-컴퓨터 상호작용(HCIHuman-Computer Interaction) 분야에선 사용자 경험 평가(UX)로 시스템의 효율, 영향력 등을 검증합니다. 보통은 전통적인 인터뷰, 설문 조사를 시행하거나 과제를 수행하며 측정한 행동 데이터(반응 시간, 정확도)를 통계적으로 분석하는 방식으로 가설을 검증합니다. 최근엔 생체 신호(뇌파시선추적)를 수집, 분석하거나 패턴 분석 알고리즘을 활용해 머신러닝으로 분석하는 방식도 사용합니다.

이번 연구에서는 실험자가 같은 게임을 EMS가 있는 경우와 없는 경우로 모두 경험한 뒤, 그들을 인터뷰 및 설문조사해 두 경우의 현실감, 향유도, 선호도를 알아봤습니다. 그 결과 EMS를 활용한 시나리오들에서 보다 더 현실감을 느꼈고, 콘텐츠도 더 재미있게 즐겼다는 결과를 얻었습니다. 인터뷰에서 더 자세한 평가를 들을 수 있었는데, EMS의 감각 증강으로 가상의 물체가 현실에 더 밀착된 감각을 느꼈다고 합니다. 예를 들어 가상의 가구를 밀어서 벽에 부딪힐 때 그 순간의 반동과 같은 감각이 생생해졌다는 것이죠.

이런 결과를 바탕으로 논문에선 EMS를 활용한 감각 증강 시스템이 힘의 감각을 증강할 뿐만 아니라, 손에 쥐는 별도의 컨트롤러 없이 팔에 부착되는 패드만으로 제작자가 목표하는 감각을 사용자에게 전달할 수 있다고 설명했습니다. 기존 방식처럼 손에 컨트롤러를 쥐면 현실 물체를 만지는 등의 상호작용이 어렵죠. 반면 EMS를 활용한 감각 증강 시스템은 손이 자유로워서, 사용자가 가상과 현실의 물체 모두와 상호작용하며 MR을 입체적으로 경험할 수 있습니다. 손 추적 알고리즘이 정교화되며 두 손이 자유로운 상태의 MR 콘텐츠 경험이 가능해지는 최근 추세에도 크게 기여하리라 예상됩니다.

동시에 EMS를 활용한 방식에는 아직 여러 한계가 존재한다는 점도 인식해야합니다. 먼저 인체의 근육에 기반하므로 장시간 사용에 따른 피로도 증가의 문제가 있습니다. 또한 사람마다 근육의 양과 위치 등이 조금씩 다르므로 사용 전에 전기 세기, 주파수 등을 조정해야하죠. 게임을 하며 자극이 자동으로 조절되는 주기를 만드는 등, 자극 조정의 자동화 기술을 확보하는 것이 EMS의 사용성을 높이기 위한 향후의 연구 과제일 것입니다.

❋필자소개

김진욱. KAIST 문화기술대학원 박사과정 연구원. 가상현실 내에서의 새로운 상호작용 방법 개발 및 사용성 측정을 연구하고 있다. jinwook.kim31@kaist.ac.kr