최근 스포츠 생중계, 드라마, 광고 등에서 현실감 넘치는 3D 입체 영상이 유행하고 있다. 바로 가상현실 기술을 응용한 버추얼 이미지가 적용됐기 때문에 가능하다. 버추얼 이미징 기술은 무엇이며, 이런 이미지는 어떻게 만들어지는 것일까.
지난 5월 30일 한국과 일본에서 열린 컨페더레이션스컵 축구대회는 월드컵 전초전이라는 경기의 중요성을 넘어 국내 스포츠 중계의 중요한 전기를 마련한 대회였다. 국내의 주요 방송사들은 컨페더레이션스컵 대회 중계에 화려한 버추얼 이미징 시스템을 사용해 축구 경기의 박진감과 현장감을 더했다.
버추얼 이미징 시스템(Virtual imaging system)이란 현장을 촬영한 화면과, 실제 현장에는 존재하지 않는 가상의 그래픽 이미지, 정지 화면, 동영상 등을 버추얼 이미징 기술로 결합해 방송의 효과를 극대화하는 시스템을 말한다.
예를 들어 축구경기가 시작하기 전, 하프라인 서클 내에 코카콜라의 로고가 3차원 그래픽으로 나타나 움직이거나, 메이저리그에서 박찬호 선수가 공을 던질 때 포수 뒤에 대한항공 로고 이미지가 화면에 나타나는 경우가 대표적인 가상 광고다. 이러한 가상 이미지는 경기장에 있는 관중들에게는 보여지지 않으며, 오로지 TV 시청자들만 볼 수 있다.
단지 광고 효과를 위해 사용되는 것은 아니다. TV를 통해 스포츠 경기를 더욱 재미있게 시청할 수도 있다. 가령 축구경기에서 고종수 선수가 프리킥을 할 때, 볼과 골문 사이의 거리를 화면에 실시간으로 표시해주거나 수비와 볼과의 거리를 제공함으로 경기를 더욱 가까이에서 생생하게 지켜보는 느낌을 전달받을 수 있다.
생생한 현장감 증폭시킨다
컨페더레이션스컵 중계에서 보여준 버추얼 이미지의 활용을 자세히 살펴보자. 우선 양팀의 국기가 그라운드 바닥에 펼쳐지고(즇), 그라운드 중앙에서 갑자기 올라온 가상의 점보트론(Jumbotron) 속에 주요 경기장면이나 정보 또는 선수 교체 장면 등을 제공해 시청자들의 눈을 즐겁게 해줬다(즊). 또한 프리킥 지점에서 골대까지의 거리(즋), 9.15m 프리킥 서클(즍), 코너킥 장면에서 골키퍼의 움직임(즎), 전·후반 사이 양팀의 전력을 그라운드 바닥에 실시간으로 보여줌으로써 시청자의 눈을 사로잡았다(즏).
이와 같은 버추얼 이미징 기술은 이미 미국, 프랑스, 이스라엘 등에서 3년 전에 개발돼 상용화되기 시작, 유럽의 프로축구 방송에 널리 사용되고 있다. 일본 역시 지난해부터 프로 스포츠에 접목시키고 있다. 미국에서는 현재 프로야구를 비롯해 미식축구, 아이스하키, 골프 등 대부분의 스포츠에 등장할 정도로 일반화된 방송 서비스로 자리잡았으며, 미국 스포츠경기 중계가 대폭 늘어난 국내에도 종종 접할 수 있게 됐다.
미국 방송사들은 기존의 방송 광고가 안고 있는 한계를 보완해주는 수단으로 사용한다. 이를테면 경기 중 득점 장면이나 중요한 플레이 순간, 즉 시청자의 주목을 받는 경기 중에도 자유자재로 축구 골대 뒤나 관중석 등에 광고를 할 수 있다. 광고를 내보내기 위해 중계를 중단하지 않아도 된다는 말이다. 이같은 장점 덕분에 광고 단가 또한 기존 광고보다 3-10배나 높게 받고 있으면서도 광고 수익은 매년 급성장하고 있다.
배경과 연기자를 분리해 실시간 합성
버추얼 이미징은 기본적으로 카메라에 센서를 달고 카메라의 현재 위치와 움직임에 대한 정보를 입력받은 후, 적절한 그래픽 이미지와 실제 화면을 실시간으로 완벽하게 매치시켜 움직이는 것이다. 이를 위해 배경과 연기자를 크로마 키로 분리한 뒤 다시 배경, 이미지, 연기자 순서로 실시간으로 합성하는 과정이 필요하다.
버추얼 이미징 기술에서 가장 중요한 점 중 하나는 크로마 키를 배경에서 얼마나 깨끗하게 분리할 수 있는지 여부다. 크로마 키를 원하는 위치에 완벽하게 분리해낼 수 있다면 이미지를 합성하는 것이 편리해지기 때문이다.
배경의 특정한 위치에 그림을 넣기 위해서는 영상처리 시스템이 그 위치를 알 수 있도록 단일 색으로 표시된 크로마 키가 필요하다. 일반적으로 정지된 화면이라면 크로마 키를 만들어내는 것은 어렵지 않다. 하지만 스포츠 중계처럼 현장에서 실시간으로 움직이는 화면에서 크로마 키를 만들어내는 것은 결코 쉬운 문제가 아니다.
예를 들어 축구 경기가 이뤄지는 가운데 운동장의 바닥에 양팀의 로고를 합성하는 경우를 생각해보자. 이 경우 배경으로 쓰여지는 잔디와 선수들을 분리해야 한다. 즉 잔디가 깔려 있는 운동장 전체가 크로마 키 기능을 해야 한다. 하지만 잔디의 색상이 균일한 녹색이 아니고 경기장에 선수들의 그림자가 생기므로 크로마 키를 만들어내는데 어려움이 있다. 선수들의 옷이 녹색인 경우라면 더욱 곤란해진다. 즉 버추얼 이미징 기술에서 크로마 키를 만들어내는 방식은 중요한 기술이 된다. 따라서 현재 개발돼 있는 여러 시스템은 저마다 독특한 방식으로 이런 크로마 키를 실시간으로 보정해주는 기능을 갖추고 있다.
카메라 위치와 고성능 컴퓨터
버추얼 이미징에서 중요한 또다른 요소는 카메라의 위치다. 현재 카메라가 어떤 장면을 찍고 있는지 정확히 알고 있어야 화면과 완벽한 조화를 이루는 이미지를 합성할 수 있기 때문이다. 카메라의 위치 추적 센서는 실제 현장에서 중계하는 카메라에 부착된다. 그리고 이 센서들은 카메라맨이 중계를 위해 카메라를 움직이거나 조작할 때 변하는 모든 수치를 그래픽 워크스테이션으로 보내준다. 예를 들어 카메라의 회전, 높이 조절, 화면 확대, 화면 축소, 초점의 변경 등의 데이터를 실시간으로 전송하는 역할을 담당한다.
다음으로 카메라로부터 받아들여진 영상, 위치 센서로부터 받아들여진 데이터를 실시간으로 처리하고 합성하기 위해 고성능의 컴퓨터가 필요하다.
버추얼 이미징 기술은 앞서 언급했듯 기본적으로 카메라에 센서를 달고 카메라의 현재 위치와 움직임에 대한 정보를 입력받아 실시간으로 화면과 그래픽 이미지를 매치시키는 기술과, 카메라 센서를 부착하지 않고 오로지 영상 처리 기술에만 의존해 크로마 키를 분리해내는 기술이 있다. 후자의 경우 카메라의 위치를 추적하기 위한 센서는 불필요하며, 카메라의 위치와 화면의 구도는 오로지 입력된 비디오 화면을 분석해서 얻어낸다. 즉, 화면의 구도를 3D 기법에 의해 거꾸로 추적해 카메라의 위치를 알아내는 방법이다. 이러한 시스템이라면, 컴퓨터의 성능이 더욱 중요하다. 그렇기 때문에 고성능의 PC를 이용하거나 그래픽 워크스테이션을 이용해야만 한다.
버추얼 이미징 시스템에서 그래픽 워크스테이션이 담당하는 역할은 방송에 넣고자 하는 그래픽 이미지가 3D 환경에서 실시간으로 만들어지도록 하는 것이다. 그리고 방송 직전에 이뤄지는 캘리브레이션(각종 시스템을 미리 조율하는 일)시 배경과 그래픽 이미지를 3D로 맞춰서 실제 카메라의 위치가 3D 그래픽 환경에서의 시점이 되게 만든다. 그래서 카메라가 움직이면 카메라 센서로부터 전송되는 데이터를 바탕으로 3D 그래픽 환경의 시점을 변화하게 돼 그래픽 이미지가 화면과 완전히 동일하게 움직이도록 한다.
그래픽 워크스테이션에서는 각 분야별로 관련된 소프트웨어가 실행되며, 2D 그래픽 이미지와 3D 그래픽, 기타 외부 비디오 입력도 처리하게 된다. 그러나 대부분의 경우 소프트웨어는 방송에 내보내려고 하는 정보를 사전에 그래픽스 이미지로 제작하도록 돼 있기 때문에 실시간으로 다양한 정보를 화면에 합성하기에는 한계가 있는 것으로 알려져 있다. 이런 문제를 해결하기 위해 더 나은 소프트웨어가 개발돼야 할 것이다.
앞으로 버추얼 이미징 시스템은 어떻게 발전할까. 이 분야의 한 관계자는 가상의 이미지들이 실제 경기장에 존재하는 배경 이미지로 삽입되는 것처럼 느껴지기 때문에 거부감이 들지 않는다는 점이 가상방송의 가장 큰 장점이라고 꼽았다.
현재 버추얼 이미징 기술은 스포츠 생중계를 중심으로 다양한 방송 분야에 적용되고 있다. 특히 외국의 경우는 가상 이미징 기술이 새로운 광고의 트렌드로 자리잡아 무한한 발전 가능성을 인정받고 있다. 하지만 아직 국내에서는 일부 규제에 의해 버추얼 이미징 시스템의 응용 분야에 제한을 받고 있다. 내년 월드컵 유치를 앞둔 시점에서 버추얼 이미징 시스템을 이용한 가상 광고 분야가 세계를 향해 국내의 응용 기술력을 보여줄 수 있길 기대한다.
버추얼 이미징 구현 과정
실제로 버추얼 이미지는 어떤 과정을 거쳐 시청자가 볼 수 있게 되는 것일까. 국내 기술진이 개발해 현재 국내에서 쓰이고 있는 버추얼 이미징 기술을 중심으로 살펴보자. 버추얼 이미지를 만들어내기 전에 가장 먼저 실행되는 것은 캘리브레이션(calibration)이다. 이는 카메라 렌즈마다 광학적 특성이 다르기 때문에 이러한 특성을 하나로 통일하거나 하나로 정의하기 위한 작업이다. 이러한 캘리브레이션 작업은 버추얼 시스템 운영에 가장 기초가 되는 작업이며, 그래픽의 상하이동과 회전, 화면 확대와 축소 등의 상황에서도 경기장에 있는 어떤 실체처럼 보여지도록 해준다. 카메라의 렌즈에서 받아들이는 영상물과 센서에서 출력된 정보는 적절한 형태로 변환돼 하드웨어로 전달된다.
두번째 단계가 포지셔닝(positioning) 작업이다. 이는 원하는 위치에 실제 설치물인 것처럼 보이도록 그래픽을 위치시키는 것이다. 카메라의 이동과 상관없이 캘리브레이션 작업을 통해서 이미 카메라 렌즈의 광학적 특성이 정의돼 있기 때문에, 가상의 그래픽은 그 위치를 인식하고 있으며, 화면 확대나 회전의 움직임도 실제처럼 보여진다.
마지막 단계는 스케쥴링(scheduling) 작업이다. 한 경기에서 보여주고 싶은 버추얼 이미지의 시나리오를 엮어내는것이다. 예를 들어 축구경기를 떠올려보자. 방송 오프닝, 경기 도중, 하프타임, 게임이 끝날 때 등 각각 보여주고자 하는 이미지가 다르다. 스케쥴링은 이렇게 다른 이미지들을 사전에 시나리오로 짜서 설정하는 작업이다. 이는 프로그램 중계를 담당하는 PD와 시나리오에 대한 정확한 협의를 거쳐야 그래픽이 적절한 시기에 적절한 형태로 삽입될 수 있다. 스포츠 자체는 각본 없는 드라마라고 하지만, 버추얼 이미지는 미리 철저한 각본이 필요한 작업이다.
