d라이브러리

하얀 저녁안개가 피어오르는 고요한 산골의 모습을 담은 김광균의 시‘외인촌’을 읽다 보면 머릿속에 한 폭의 풍경화가 그려진다. 마차는 희미한 안개 속에서 파란 불빛을 내며 달려가고, 하늘엔 새빨간 노을이 펼쳐져 있다. 특히 이 시의 마지막 행을 읽으면 ‘소리가 눈에 보인다’. “분수(噴水)처럼 흩어지는 푸른 종소리.” 소리가 색깔을 띠거나 분수처럼 흩어질 수 있는 건 문학작품에서나 가능한 일일까.

마음만 먹으면 소리를 눈에 보이게 만들거나 움직임을 귀에 들리도록 만들 수 있는 사람이 있다. 바로 상명대 문화예술대학원 뮤직테크놀로지학과 이승연 교수다. 그는 손가락을 쥐었다 펼 때 나오는 힘, 안구가 움직일 때 변하는 뇌파를 이용해 화려한 영상과 소리를 창조하는 인터미디어 아티스트다.



“한마디로 매체 융합이죠. 연극 같은 아날로그 예술에 실시간 상호작용 디지털 프로그램을 활용하면 디지털 아트가 되고, 여기에 과학기술까지 접목시키면 인터미디어 아트가 됩니다.” 디지털 시대에 맞게 아날로그 예술이 진화했고, 이제는 첨단 과학과 손까지 잡는다는 얘기다. 예술과 과학이 어떻게 만났기에 춤을 추거나 눈동자를 움직이는 행위만으로도 영상과 소리가 탄생하는 걸까. 지난 9월 16일, 자세한 이야기를 듣기 위해 이 교수의 연구실을 찾아갔다.

인터미디어는 디지털 예술과 과학기술의 만남

‘음악을 위한 음향학’‘20세기 클래식과 현대음악’‘존케이지 악보집’‘수, 과학의 언어’‘미디어의 이해’‘하드 SF 르네상스’‘현대미술의 이해’‘영화연출론’‘첨단기기들은 어떻게 작동되는가’‘로보 사피엔스’….

이 교수의 방에 들어가자 눈에 확 들어온 것은 여느 교수의 연구실과 마찬가지로 한쪽 벽을 가득 채우고 있는 거대한 책장이었다. 책장에는 음악과 관련된 전공 서적부터 로봇 공학에 대한 책까지, 심지어 영상학 관련 서적도 잔뜩 있었다. 책 제목만 봐서는 그가 음악가인지 공학도인지 연출가인지 전혀 알 수 없었다. 그가 연구하는 분야는 도대체 무엇일까.



이 교수는 “첨단 과학기술을 이용해 예술을 표현하는 방법을 연구하고 있다”고 말했다. 그는 사실 학부 때 과학이 아닌 음악, 즉 작곡을 전공했다. 추계예술대 작곡과 2학년에 다니던 그는 유럽에서 활동하다 귀국한 황성호 교수의 지도를 받고 처음으로 전자음악에 대해 알게 됐다. 전자음악은 녹음기 같은 전자기기로 여러 소리를 녹음한 뒤 테이프를 무작위로 잘라 순서를 바꾸거나 앞뒤를 바꿔 붙인 다음, 소리를 재생하면서부터 시작됐다고 한다. 이 교수는 전자음악에 매력을 느껴 졸업 작품으로 전자음악을 만들었고 결국 전자음악에 대해 깊이 공부하기 위해 미국 보스턴대에서 석사를 했다.

그의 희망은 전자음악에서 멈추지 않았다. 이 교수는 스탠퍼드대 안에 있는 컴퓨터음악음향연구소(CCRMA)에서 공부했는데, 전자과 출신과 음대 출신이 모여 있는 곳이었다. 그들은 기존에 존재하지 않는 소리를 만드는 프로그램을 개발해 작곡한다. 여기서 그는 컴퓨터음악작곡으로 박사 학위를 받았다. 이 교수는 그때 이미 예술이 과학과 만나면 더 화려하게 부활할 수 있음을 깨달았다.

뇌파로 영상 만들고 옷에서 소리 나와

지난 9월 초순 이 교수는‘J번째 시간’이라는 인터미디어 공연을 대학로 예술극장과 한국예술종합학교 중극장에서 잇달아 펼쳤다. J번째 시간은 교육과학기술부와 한국과학창의재단이 융합문화사업의 하나로 지원한 공연이다. 이 공연의 아이템 구상부터 연출, 기획까지 맡은 그는 2150년 미래에는 맞춤형으로 기억을 성형하거나 맘대로 유전자를 개발할 수 있어 기계 몸을 가진 하이브리드 인간이 나타날 것이라는 유쾌한 상상을 했다.

캄캄한 무대에는 여러 대의 스크린이 있다. 무대 양옆에는 길고 폭이 좁은 스크린이 있는데, 배우의 확대된 눈들이 나와 깜빡이거나 안구를 움직이는 장면이 펼쳐진다. 무대 뒤쪽에 있는 커다란 스크린에는 배우의 기괴한 표정과 움직임이 나온다. 배우들이 어떻게 움직이느냐에 따라 여러 소리가 난다. 원숭이가 끽끽대는 듯한 소리부터 SF영화에서 나올 법한 기계음 소리, 신음 소리 등이 다양하게 난다.

그뿐 아니다. 다음 막에서는 무대 전체에 격자 모양의 빛이 나타나 정신없이 움직인다. 무대 뒤에서 배우들이 움직이는 모양에 따라 빛은 무대를 훑고 지나가거나 빠르게 날기도 하고 격자가 작아지거나 커진다. 곧이어 배우들이 무대 위로 다시 등장하고 대형 스크린에는 은빛 비눗방울 폭포가 나타난다. 움직임이 클수록 비눗방울은 점점 많아지고 더 커진다.

재미있는 점은 스크린에 나오는 장면은 원래 만들어 놓은 것이 아니며 무대 위에는 음향효과를 내는 커다란 스피커도 보이지 않는다는 사실이다. 영상과 소리를 실시간으로 만들어내는 주체가 바로 배우들이기 때문이다.

현란한 영상과 음향의 비밀은 배우들 몸에 붙어 있는 근전도와 뇌전도 전극이다. 근전도 장치는 근육이 저리거나 자주 쥐가 나는 경우에 아무 이상이 없는지 진단하는 의료기기다. 측정하고자 하는 부위에 약한 전기 자극을 가하는 동글납작한 전극을 붙인다. 근전도 전극은 근육이 수축하거나 이완할 때 내보내는 전기 신호를 감지하고 이상이 있는지 진단하며 이 신호는 컴퓨터 모니터에서 그래프로 확인할 수 있다. 뇌전도 전극도 근전도 전극과 같은 원리로 뇌파를 기록한다. 뇌파는 뇌의 활동에 따라 생기는 전기 신호인데,눈을 깜빡거릴 때도 뇌파가 변한다고 한다.

배우는 팔다리를 움직이거나 허리를 굽히고 세우며 맡은 캐릭터를 연기한다. 이때 몸에 붙인 전극들이 모든 움직임을 인식한다. 물론 눈을 치켜뜨거나 가늘게 뜨거나, 또는 안구를 굴리는 동작도 전극으로 감지된다. 감지된 움직임은 근전도와 뇌전도 전극을 통해 전기 신호로 바뀌고, 이것은 다시 영상과 소리로 바뀌어 각각 스크린과 배우의 의상을 통해 관객들에게 전해진다.



소리는 어디에서 나는 걸까. 배우들이 입고 있는 얇은 옷은 천이 아니라 필름처럼 생긴 스피커로 만들었다. 필름 스피커는 두께가 얇고 마음대로 오리거나 휠 수 있어 옷으로 만들 수 있다. 결국 극이 흐름에 따라 배우가 어떻게 움직일지 정해져 있기 때문에 어떤 영상과 소리가 나올지 대강은 예상할 수 있다. 하지만 배우의 동작은 매번 미세하게 다르며 그에 따라 실시간으로 나오는 영상과 음향도 미세하게 달라져 공연은 ‘그때그때 달라진다.’

태양에너지 이용한 친환경 예술이 꿈

연구실에서 만난 이 교수의 제자들은 그와 함께‘J번째 시간’을 제작했다. 직접 필름스피커를 오려 붙여 옷을 만들고 컴퓨터 프로그램으로 끊임없이 시뮬레이션을 하면서 화려한 영상과 음향을 만들었다. 이 교수가 번뜩이는 아이디어를 떠올릴 때마다 시각화, 청각화시킬 수 있는 원동력은 어디에서부터 나오는지 궁금했다.

“다른 사람들과 다르게 모험을 두려워하지 않는 성격 덕분에 기발한 아이디어를 내시는 것 같아요.”

2004년부터 이 교수와 함께 인터미디어에 대해 연구해온 최수환 연구원은 이 교수가 창의력을 내는 원천으로 ‘모험심’을 꼽았다. 공학도가 대부분인 제자들은 좋은 아이디어가 떠올라도 프로그래밍상에서 어떤 문제점이나 한계가 있겠다는 생각에 포기하기도 하는데, 이 교수는 새로운 시도에 대한 두려움이 없어 일단 시작을 한단다.

하지만 이 교수가 음악을 전공한 사람으로서 과학기술을 이해하는 데 어려움이 있지 않을까. 그는 “요즘은 인터넷으로 사전을 찾거나 논문을 보며 정보를 얻기가 쉬워 필요한 과학기술에 대한 정보도 쉽게 배울 수 있다”고 말했다.

환경이나 생태문제에 관심이 많은 그는 태양에너지를 이용한 친환경 인터미디어 작품을 기획할 예정이다. 이 교수의 갑작스러운 발언에 연구원들이 깜짝 놀랐다. 그러더니 태양에너지를 어떻게 이용해야 좋은 영상과 음향이 나올지 각자의 생각을 말하기 시작했다. 태양 앞으로 여러 모양의 구름이 지나갈 때마다 다른 영상과 색깔, 소리를 나타내는 공연은 어떻겠냐는 기자의 제안에 다들 머뭇거린다.

현재는 태양을 가리는 구름을 그림자로 인식할 수 있지만 구름의 모양까지 구별해 영상으로 표현하기는 어렵단다. 하지만 이 교수는 “연구원들과 함께 고민하고 그에 맞게 프로그램을 업그레이드하다 보면 못할 것도 없다”며 호탕하게 웃었다. 앞으로 그와 연구원들이 어떤 방법으로 과학과 예술을 융합해 세상을 향해 메시지를 던질지 더욱 궁금해진다.