구독상품안내
가상현실을 구현할 때 가장 중요한 것은 몰입감이다. 가상현실 속 영상을 현실적으로 느낄 수 있게 하려면 사람이 볼 수 있는 시야각을 포함하며 해상도가 높은 이미지를 만들어야 한다.
위상적으로 ‘육면체 = 구’
공간의 연결 구조를 연구하는 위상공간에서는 구멍의 개수로만 물체를 구분한다. 구멍을 뚫지만 않으면 찌그러뜨리거나 늘려도 같은 물체다. 그래서 위상공간에서 구멍이 하나인 머그잔과 도넛은 같은 물체가 된다. 같은 이유로 구멍이 없는 정육면체와 구도 위상적으로 같다.
위상수학의 성질을 이용하면 360° 영상은 여섯 개의 카메라로 충분하다. 여섯개의 카메라를 정육면체의 각 면에 설치해 촬영하고, 촬영한 이미지를 구에 대응해 만든다. 구멍이 뚫려있지 않은 정육면체와 구는 위상적으로 같은 물체이므로 정육면체에 있는 모든 점은 구로 완벽하게 1:1로 대응한다.
360° 촬영 이미지는 촬영만큼 편집도 중요하다. 여러 대의 카메라로 찍은 이미지를 하나로 합칠 때 겹치는 부분을 처리해야 하기 때문이다. 겹치는 부분의 처리가 제대로 되지 않으면 이미지에 왜곡이 생겨버린다. 이렇게 이미지를 연결하는 작업을 ‘스티칭’이라고 하는데, 같은 픽셀 정보를 갖는 부분을 자연스럽게 붙여서 여러 이미지를 이어준다.
가상현실 속의 소리를 만들 때는 도플러 효과를 포함해 주파수를 이용한 다양한 물리 법칙을 이용한다. 도플러 효과는 음원이 가까워지면 주파수가 짧아지고, 멀어지면 주파수가 길어지는 현상이다. 정지해 있는 사람에게 자동차가 다가올 때는 짧은 주파수의 높은음이 들리다가 멀어질수록 긴 주파수의 낮은음이 들린다.
헤드폰을 이용한다면, 왼쪽에 물체가 등장할 때 왼쪽 헤드폰의 소리를 키우고, 오른쪽 헤드폰의 소리를 낮추는 방식으로 다가오는 물체의 소리를 흉내 낼 수 있다. 공간에 스피커를 배치하는 경우에는 배치된 스피커의 소리를 조절한다. 스피커는 여러 개를 설치할 수 있어 헤드폰보다 더 정교하게 거리감을 나타낸다.
소리의 종류는 다양하다. 진공 상태가 아니라면 공간에는 기본적으로 소리가 퍼져 있다. 직선으로 오는 소리뿐 아니라 벽이나 사물에 반사돼 들리는 소리도 있다. 또 두 물체가 충돌할 때, 충돌하는 면, 충돌 방식, 물체의 모양 등에 따라서로 다른 다양한 소리가 있다. 쇠숟가락으로 유리잔을 쳤을 때, 컵에 비어
있는지 물이 들어있는지에 따라 소리가 달라지는 사실로도 알 수 있다.
물리적 한계를 함수로 극복
소리를 만드는 모든 요소를 일일이 찾아 계산하기는 어렵다. 그래서 주로 필요한 소리만 녹음하는 법을 이용한다. 소음이 없는 진공 공간에서 원하는 소리를 녹음하고, 주파수와 소리의 강도 등을 조절하는 것이다. 가상현실은 실시간으로 빠르게 보여줘야 하기 때문에 계산 정확도가 조금 떨어지더라도 상황에 맞는 소리를 구현하는 게 중요하다.
게임이나 가상체험을 한다면 도플러 효과를 이용해 소리를 녹음하는 것으로 충분하다. 그런데 소리가 중요한 뮤직홀, 미세한 소리도 감지해야 하는 가상 비행 시뮬레이션 또는 가상 수술에는 더 정교한 소리가 필요하다.
이럴 때는 사람의 청각적인 특징을 그대로 이용해 녹음하는 방식인 ‘음상정위’기술을 이용한다. 어떤 위치에 있는 스피커에서 소리가 날 때, 좌우 양쪽에 들리는 소리는 미묘하게 다르다. 음원으로부터 거리와 강도에 차이가 있기 때문이다. 음상정위 기술은 이런 특징을 이용해 사실적인 소리를 구현해 낸다.
그러나 스피커를 무한히 많이 설치할 수는 없다. 따라서 녹음되지 않는 공간이 꼭 생긴다. 이 경우 추출한 음원의 경향에 따라 함수를 구한다. 다시 말해, 유한한 개수의 음원으로 연속 함수를 만들어 녹음되지 않은 위치에서도 소리가 어떻게 들리는지 알아낸다.
▼관련기사를 계속 보시려면?
INTRO. 가상현실, 어느 수학자의 보고서
PART 1. 현실보다 더 현실같은 가상현실
PART 2. 360° 영상은 위상수학으로
OUTRO. 우리는 과연 진짜일까?
