d라이브러리

‘음악’하면 제일 먼저 뭐가 떠오르는가. 40대라면 정장을 차려입고 콘서트홀에서 우아하게 클래식을 즐기는 장면? 30대라면 중학교 때 처음으로 워크맨을 사고 기뻐서 폴짝폴짝 뛰던 기억이나 몇 단 짜리 책장을 꽉 채운 CD들이 아닐까. 10대와 20대라면 자신이 좋아하는 음악이 담긴 MP3플레이어를 귀에 꽂고 버스나 길에서 흥얼거리는 것을 생각할 것이다. 그렇다면 지금의 어린 아이들이 자란 20년쯤 뒤에는 무엇을 떠올리게 될까.
 

지휘봉은 디지털, 단원은 컴퓨터

오케스트라 단원들은 지휘자의 지휘봉을 잘 봐야 한다. 그렇지 않으면 음악이 엉망이 되는 것은 한 순간이다. 지휘자 역시 단원들이 자신을 잘 따를 수 있도록 정확한 박과 세기, 감정 등 음악적 지시를 내려야 한다. 그렇지만 때때로 오케스트라는 서로 리듬이 맞지 않거나 음이 맞지 않아 지휘자가 원하는 멋진 음악을 연주하지 못할 때가 있다. 연주자가 로봇이라면 문제가 없겠지만 말이다.

미국 매사추세츠공대(MIT) 미디어랩의 토드 매코버 교수는 1996년 ‘디지털 지휘봉’을 개발했다. 여느 오케스트라와 다름없이 지휘자는 지휘봉을 들고 있다. 그런데 지휘봉을 따르는 연주자가 사람이 아니다. 연주는 컴퓨터가 맡는다. 지휘봉 안에는 지휘자의 손가락 압력과 상하좌우 움직임을 감지하는 센서가 달려 있고, 지휘자 앞에는 이런 지휘봉의 위치를 추적하는 카메라가 있다. 덕분에 컴퓨터는 지휘봉의 움직임을 정교하게 따를 수 있다. 물론 소리도 진짜 악기에서 나는 것이 아니라 컴퓨터에 만들어 놓은 가상의 악기에서 난다.

디지털 지휘봉과 비슷한 프로젝트로 미디어랩에서는 1996년 ‘제스처 벽’(Gesture Wall)을 만든 적이 있다. 이는 지휘봉이 아니라 컴퓨터가 맨 손의 움직임을 감지해 음악을 만들어 낸다. 디지털 지휘봉과 제스처 벽 연구는 지휘자의 지시에 따라 완벽하고 정확한 연주를 할 수 있게 됐다는 것만으로도 센세이션을 불러일으켰다. 하지만 이런 실험들의 진정한 의미는 우리 몸의 여러 동작을 음악으로 바꿀 수 있는 가능성을 제시했다는 점에 있다.

이런 연구가 음악의 역사에서는 매우 획기적인 일이지만 기존의 예술가들에게 많은 혼란을 가져오는 것도 사실이다. 오래 전부터 지금까지 음악은 연주자나 작곡가의 손에 의해 만들어지고 변화해왔다. 그러나 요즘 기술이 발전하면서 음악 자체의 개념마저 흔들리고 있다. 마치 늘 벽돌로 작은 집을 짓던 사람에게 어느 날 불도저를 갖다 주며 집을 지으라는 격이다. 집 짓는 사람은 불도저의 덩치와 기능에 놀라면서도 불도저로 어떻게 집을 지어야 하는지 막막할 것이다. 시간이 어느 정도 흘러 불도저의 기능을 익히면서 차츰 그동안 상상조차 못했던 색다른 집을 지을 수 있다.

디지털 지휘봉도 아직까지는 손을 올리거나 내리는 등의 단순한 움직임만을 감지하는 수준이다. 이는 복잡한 움직임을 감지하는 기술이 없어서라기보다는 몸의 움직임으로 음악을 만든다는 개념 자체가 너무 새롭기 때문이다. 미디어랩은 토드 매코버 교수를 중심으로 디지털 지휘봉 외에도 음악과 기술을 접목시킨 새로운 연구를 많이 진행하고 있다.

그 중 1997년 개발한 ‘뮤지컬 재킷’도 대표적인 예다. 뮤지컬 재킷은 말 그대로 재킷에 음악을 넣어놓았다. 겉에서 보면 보통 청재킷인데, 재킷 왼쪽 주머니에 1, 2, 3 같은 자판을 달고 신시사이저와 스피커까지 붙였다. 자판을 누르면 이 신호가 내부 프로세서를 거쳐 신시사이저에 전달되고 작은 스피커를 통해 소리가 난다. 요즘 개발되고 있는 웨어러블 컴퓨터의 초기 형태라고 할 수 있다. 재킷만 걸치면 원하는 음악을 듣고 연주할 수 있는 것이다.

이 밖에 온라인과 오프라인을 합쳐놓은 사이버 오페라인 ‘브레인 오페라’, 활이 현 위를 미끄러질 때 속도와 가속도, 힘 등을 측정하는 전자장치를 활에 달아놓은 바이올린 등의 연구도 있다.

그림자로 음악 만들기

2004년 미국 카네기멜론대의 골란 레빈 교수는 ‘수동 입력 세션’이라는 독특한 공연을 했다. 이 공연에서는 OHP 위에 손이나 물건을 얹어 그림자를 만든 다음 컴퓨터가 그 그림자를 인식해 만들어내는 그래픽이 교묘하게 섞이면서 음악과 영상이 만들어진다. 물건을 OHP 위에 얹어 놓으면 곧 그림자 위로 컴퓨터가 만들어낸 어떤 모양의 조각들이 돌아다니게 되고 동시에 음악도 만들어진다. 손의 그림자가 움직이면 그것을 그대로 흉내 내는 컴퓨터 그래픽이 만들어진다.

예를 들어 OHP 위에 손으로 둥근 모양의 그림자를 만들면 곧 화면에는 둥근 모양의 얼음이 생겨나 아래로 떨어져 화면 내부에서 이리저리 튕겨 다닌다. 여기서 손 그림자는 진짜고 얼음은 컴퓨터가 만들어낸 가짜다. 그런데 이를 보는 사람은 그 둘을 구분하면서도 자연스럽게 하나로 받아들인다(실제 공연 비디오는 인터넷 사이트 http://www.flong.com을 참고하면 된다).

레빈 교수의 수동 입력 세션은 디지털 지휘봉보다 한 단계 더 진보한 형태다. 디지털 지휘봉에서는 컴퓨터가 연주자, 즉 사람의 역할을 대신하고 있다. 하지만 수동 입력 세션에서는 컴퓨터가 사람의 역할을 대신하는 것이 아니라 컴퓨터 고유의 역할을 그대로 하고 있다. 디지털 지휘봉에서 컴퓨터가 사람의 악기 연주를 좀더 정확하게 하는 것이라면 수동 입력 세션에서는 컴퓨터가 실제에서는 불가능한 디지털의 세계를 그리고 있고, 더욱이 실제 세계의 그림자와 그럴듯하게 호흡까지 맞춘다. 디지털 지휘봉이 불도저로 벽돌집을 지으려 하고 있다면 수동 입력 세션은 불도저로 불도저에 걸맞는 집을 짓고 있는 셈이다.
 

알아서 줄어들고 차가워지고

귀에 이어폰을 꽂고 음악을 크게 듣고 거리를 다니는 것은 귀에 나쁜 영향을 미칠 뿐 아니라 때로는 매우 위험하기까지 하다. 음악 소리가 커서 옆에서 경적을 울리며 달려오는 차 소리를 듣지 못할 수도 있다. 이때 자동으로 음악 소리를 줄여주는 장치가 있다면 얼마나 좋을까.

스웨덴의 상호작용성협회는 2002년부터 ‘소리의 도시’(Sonic City)라는 연구를 진행하고 있다. 음악을 들으며 도시를 돌아다니는 사람은 주변의 조건이 달라지면 듣고 있던 음악이 달라지면서 그 변화를 알아차리게 된다. 물론 이 사람은 여러 센서가 부착된 옷을 입고 있다. 예를 들어 주변의 소음을 측정하기 위한 마이크나 옆에 지나가는 사람이 있는지 감지하는 적외선 센서, 손에 금속성 물체가 닿았는지 감지하는 센서 같은 장치가 달려 있다. 센서가 정보를 인식하면 이 사람이 갖고 다니는 컴퓨터에 정보가 입력되고 그 정보에 따라 듣고 있던 음악이 바뀐다.

만약 어두운 곳에 들어가면 음악도 함께 어두운 음색으로 바뀐다. 옆에서 시끄러운 전차나 자동차가 다가오면 음악의 크기가 자동으로 줄어든다. 손에 금속성의 물체가 닿으면 음악도 곧 차가운 음색으로 바뀐다. 아직 소리의 도시 연구는 초기 단계다. 이 연구의 궁극적인 목표는 도시를 돌아다니는 사람에게 청각을 통해 정보를 전달하는 것으로, 특히 음악을 통해 자연스럽게 정보를 전달하는 것이다. 한 단계 더 발전한다면 환경과 음악을 결합해 새로운 음악 또는 새로운 음악의 개념을 만들어낼 수도 있다. 무궁무진한 가능성이 있는 연구다.

우리집 애완동물은 음악?

컴퓨터는 음악성을 갖고 있을까? 만약 음악성을 갖고 있다면 그것은 누구에게 배운 것일까? 그 음악성은 사람의 음악성보다 좋을까?

이런 질문들은 매우 터무니없어 보인다. 그러나 이미 많은 사람들은 컴퓨터에 음악성을 심어주기 위해 노력해왔다. 미국 캘리포니아주립대 음대 데이비드 코프 교수는 작곡하는 컴퓨터를 개발하기도 했다. 1987년 개발된 이 프로그램은 모차르트 교향곡 41개를 분석해 모차르트의 작곡 스타일을 완전히 익힌 다음 42번째 교향곡을 작곡해 화제가 되기도 했다. 컴퓨터가 음악을 들으면 자동으로 장르를 구분해내는 연구를 진행하는 팀도 있다.

그런데 이런 연구들은 대부분 사람이 할 수 있는 일을 컴퓨터가 대신하도록 하기 위해서 고안됐다. 이런 종류의 연구가 필요한 것도 사실이지만 불도저를 아는 건축가는 더 큰 건축물을 상상하는 법이다. 컴퓨터로 인해 예술가는 새로운 음악의 장르를 개척하고 있는 것이다.
그리 멀지 않은 미래에 컴퓨터가 작곡한 교향곡이 음악회에서 연주되는 것은 기본이고 음악을 내 손으로 만지고, 내 옷에 달고, 내가 가는 곳에 항상 데리고 다니게 될 것이다.

이쯤 되면 예술가는 스스로 음악을 하는 사람을 일컫는 것이 아니라 컴퓨터가 음악을 하도록 만드는 사람을 지칭하게 될 지도 모른다. 물론 기존의 전통적 예술가도 여전히 존재할 것이다. 수백년동안 우리를 즐겁게 해준 음악이 하루아침에 없어질 리는 없을 테니 말이다.