d라이브러리

가상현실은 아날로그 신호인 인간의 오감을 디지털 신호인 컴퓨터로 재현하는 기술이라 할 수 있다. 이를 위해 어떤 장비와 기술이 채택되고 있으며 재생가능 정도를 알아본다

아날로그는 원래 '측정' '기록'의 의미를 가진 단어다. 디지털 기술이 출현하기 이전에는 아날로그 방식의 측정과 기록이 정보의 처리와 가공을 위한 유일한 방법이었다. 하지만 현재 우리가 매일 접하고 있는 대부분의 정보와 매체는 디지털 방식으로 구현되고 있으며 앞으로를 '디지털시대'라 불러도 큰 무리는 없을 것이다.

그렇다면 다음과 같은 문제를 생각해보자. 인간의 오감은 어디까지 디지털로 변화시킬 수 있을까. 이 물음의 답을 얻기 위해서는 오감의 재생을 최대 과제로 삼고 있는 가상현실 기술을 살펴보는 것이 순서일 것이다.

컴퓨터는 디지털 단위로 정보를 저장하고 모든 정보를 디지털로 변환한다. 본래 컴퓨터는 아날로그 정보와는 거리가 멀다. 이것은 모든 정보를 숫자의 조합으로 표현할 수 있다는 디지털 방식과 일맥상통한다. 따라서 가상 현실시스템을 구축하기 위해서는 실시간으로 전달되는 모든 정보자료가 컴퓨터가 인식하고 조작할 수 있는 디지털 정보로 변환돼야 한다.

1초에 수천개의 신호를 전송할 수 있는 센서를 조립한다면 컴퓨터는 그래프상에 수천개의 점을 디스플레이할 수 있고 아날로그 이미지 소스와 거의 정확하게 고해상도의 디지털 이미지 결과를 보여줄 수 있다.

이러한 디지털 습득장치는 물리적 현상의 연구에 접근하는 방법을 열어준다. 가상현실에 있어 필수 3요소인 임장감(몰입), 탐험, 상호작용은 신체 외부의 센서가 연결된 장치에 의해 실시간적으로 정보가 컴퓨터(리얼리티 엔진)에 전달됨으로써 이루어진다. 이러한 요소들은 뷰포인트 아날로그, 네비게이션 아날로그, 매니플레이션 아날로그, 임장감 아날로그로 표현할 수 있으며 이들 아날로그 센서에 의해 수집된 정보는 컴퓨터가 인식할 수 있는 디지털 형식으로 전환된다. 가상현실시스템에 대한 소프트웨어의 필수조건은 센서로부터 전달된 아날로그 전자신호를 디지털 정보 스트림으로 변환하고 가상세계를 실시간으로 모델화하는 것이다.

'론머맨'과 '쥐라기 공원'

문제는 우리가 컴퓨터로 정보를 전송시킬 때 발생한다. 빠른 전송속도와 실시간 처리 기술은 가상현실의 기술에 매우 중요한 위치를 차지하고 있다. 실시간에 이루어지는 상호작용과 그에 따른 반응매체는 아주 밀접한 관계를 가지고 있지만 현재의 기술은 이를 만족시키지 못한다.

컴퓨터는 기존의 문자나 그래픽 이미지 외에도 비디오나 오디오, 여러 매체들과의 연결이 가능하며 이들 미디어를 혼합할 수도 있다. 미국 항공우주국(NASA)에서는 가상환경에서 컴퓨터가 만들어낸 배경과 원격카메라, 비디오디스크, 또는 테이프로부터 비디오의 합성을 나타내기 위해 생생한 비디오 윈도(window)를 삽입하게 하는 기술을 개발하고 있다. 이것은 대용량의 정보 데이터베이스를 표현하기 위한 기초를 제공한다.

가상현실은 현재의 대화형 멀티미디어나 하이퍼미디어 데이터베이스 인터페이스를 제공하기 위해 CD-ROM 드라이브, 비디오와 오디오 기술을 통합하기 때문에 디지털 데이터의 합성을 용이하게 할 수 있다.

일찍이 가상현실기술과 개념을 표현한 '론머맨'이란 영화에서는 시각 디스플레이인 가상세계의 표출을 위한 특수효과률 위해 디지털기술(Digital Technology)을 접목시켰다. 그외에도 크게 히트한 영화인 스티븐 스필버그감독의 '쥐라기 공원'은 거대한 공룡 역시 디지털화해 렌더링된 모델을 등장시켜 마치 인간과 공룡의 만남을 사실적으로 표현한 작품이었다.

컴퓨터와 영화는 불가분의 관계에 있으며 이미 수년 전부터 영화제작의 여러단계에 있어 중요한 위치를 차지해왔다. 영화에 쓰이는 특수촬영기법은 비단 영화에서 뿐만이 아니라 가상현실에 있어서도 크게 기여할 수 있는 방법에 속한다. 평소 우리가 재미있게 즐기는 컴퓨터게임 역시 영화에 쓰이는 여러 화면 처리 기법이 쓰이고 있다.

또한 특수음향효과를 주기 위해 미디(MIDI, Musical Instrument Digital Interface)를 사용하는데, 이 역시 마찬가지로 디지털기술을 수용한 것이다. 미디는 디지털 신호를 교환하는 전자악기들을 연결할 수 있는 세계통일 규격. MIDI는 먼저 디지털 샘플링을 통해 아날로그신호를 디지털신호로 변환한 다음 시퀀스를 이용, 음을 재생한다.

가상현실 시스템 가운데 영국의 W 인더스트리사가 개발한 차세대 게임기 '버츄얼리티 1000' 시리즈는 청각기관에 고품질의 사운드를 제공하기 위해 음향과 음성이 저장된 CD-ROM을 이용, 생생한 임장감을 한층 고조시킨다.

사실 가상현실의 세계에서 청각 자극(청각 디스플레이)은 현장감을 증가시킬 수 있는 요소로 시각만큼 중요한 요소다. 소리란 진동의 연속으로써 공기중에 존재하는 파형이다. 기존 아날로그방식의 테이프 레코더는 전기적 신호를 자기적 신호로 바꿈으로써 테이프의 자성면에 녹음할 수 있었지만 디지털 레코딩 방식은 1초에 수천번 소리의 수준을 측정해 각각의 숫자를 메모리에 기억함으로써 이루어진다. 결국 디지털방식의 녹음은 불연속적인 숫자들의 연속을 녹음하는 것이다.

정해진 시간 내에 신호를 측정하는 것을 샘플링이라고 하고 얼마나 자주 측정하는가의 단위를 샘플링 비율이라고 하는데, 높은 샘플링 비율은 더 정확한 파형과 훌륭한 주파수 응답을 만들어 낼 수 있다. CD의 경우 표준 샘플링 비율(sampling rate)은 초당 4만4천 샘플에 해당한다.

컴퓨터 사운드에 많이 사용되는 사운드 블래스터는 ADC(아날로그 정보를 컴퓨터가 수용할 수 있는 디지털 정보로 변환시키는 장치)와 DAC(디지털정보를 아날로그로 변환시키는 장치)의 지원으로 디지털사운드를 기록하고 재생하는 기능을 가지고 있다.

고막으로 전달되는 소리 좌우로 분리

최신 오디오 기술중 가상현실기술의 발전과 더불어 특히 각광받고 있는 분야는 3차원 입체음향 연구 부문. 3차원의 음향을 출력하기 위해서는 3차원 사운드 프로세서와 소리데이터를 저장하고 있는 음원이 필요하다. 인간의 청각특성에 관한 연구가 진전된 결과 음성신호의 실시간 처리로 일반적인 헤드폰을 사용해 3차원 공간 내의 임의 위치에 높은 정밀도로 음원을 정립시키는 방법이 개발됐다. 가상현실 분야에서 잘 알려진 것으로는 크리스털 리버(Crystal River)사의 스콧포스터(Scott Foster)가 개발한 콘볼보트론(Convolvotron)이란 시스템이 있다.

콘볼보트론은 강력한 오디오 디지털 시그널 프로세서로, 아날로그형의 소리로 3차원 입체음향효과를 낼 수 있다. 콘볼보트론의 핵심은 HRTF(Head-Related Transfer Function)에 있는데, 이는 고막으로 전달되는 전달계수가 음원과 머리와의 상대위치 관계에 따라 다르다는 성질을 이용하고 있다. 구체적으로는 음원의 각 위치에 대응하는 전달 계수를 각 주파수별로 미리 구해놓고 머리의 위치센서로부터의 정보를 기초로 그 순간의 머리위치로 들을 수 있는 음의 전달계수를 산출한다. 그리고 얻어진 전달계수와 음원사이에 컨벌류션을 실시해 가상의 음을 재현하는 것이다.

이 시스템은 하나의 방과 같은 작은 공간의 반향특성도 모델링할 수 있다. 상업용시스템으로 나와있는 VPL 리서치사의 RB2 시스템에 내장된 오디오스피어(audioSphere)는 입체음향을 제공하는 헤드폰 전용 3차원 사운드 시스템이다. 오디오스피어는 동시에 4개의 가상음원의 위치를 설정할 수 있으며 고막으로 전달되는 음향신호를 좌우로 분리, 인위적으로 생성해 임의의 위치에 음원을 재생시킨다.

후각과 미각은 아직도 초보단계

청각과 시각의 경우처럼 가상현실 시스템이 인간의 감각을 디지털로 변환시키기 위해서는 이렇듯 각종 인터페이스를 부착함으로 가능해진다. 하지만 후각과 미각은 생리학적인 연구조차 제대로 이루어지지 않은 실정이어서 사정이 사뭇 다르다. 후각과 미각은 코와 입이라는 '수신기'를 통해 매우 복잡한 시그널을 뇌에 전달한다.

그러나 첨단을 자랑하는 현재의 기술도 뇌와 같은 후각, 미각 디스플레이의 정보전달 장치를 만들어내지는 못하고 있다. 즉 가상현실 장치가 감각의 재생을 위해 감각 변환기를 사용하지만 미각이나 후각과 같은 정보를 컴퓨터가 인식할 수 있는 인터페이스로 변환하는 것은 앞으로도 해결에 상당한 시일을 요하는 문제인 것이다.

청각이나 시각처럼 능동적이면서 빠르게 전환할 수 있는 감각이 아닌 이들 감각은 장면이 전환돼도 즉시 냄새나 맛을 변환시키지 못한다는 한계가 있다. 달리 말해 컴퓨터가 아직 화학적인 반응에 적합한 인터페이스를 갖고 있지 못하다는 말이기도 하다.

물론 두 감각중 어느 것이 먼저 목표에 도달할 것인가라는 질문에는 답이 있다. 후각이다. 본격 재생이란 의미와 거리가 있긴 하지만 그동안 아로마틱 디스플레이란 후각 디스플레이 장치도 선보였고 후각과 평형감각을 합성한 오락기기도 등장한 바 있다.

결론적으로 앞으로 컴퓨터를 기반으로 한 가상현실기술은 보이지 않는 내부의 혁신적인 디지털제어기술을 수용함으로써 미래의 모든 매체에 대한 새로운 장을 열 것이다.