d라이브러리

네그로폰테 민스키 페이퍼트 마초버 슈라이버 등이 미디어 과학이란 개념을 통해 펼쳐보이는 미래의 학교 영화 음악 출판 방송은?

'미래를 팝니다. 미래를 사실 분은 30만 달러만 내시면 됩니다.'

미국 매사추세츠공대(MIT) 부설 미디어연구소가 내건 슬로건이다. 이 전략에 말려들어 미국 국방부는 물론 IBM 휴렛팩커드 애플 등 컴퓨터회사, 컬럼비아 워너브라더스 등 영화제작소, GM 포드 등 자동차회사, ABC CBS NBC 등 3대 방송사와 일본의 NHK TV, 소니 도시바 금성사 등 가전업체, 악기제조회사 야마하, 아사히신문 타임지 등 언론사, 시티은행과 전화회사인 AT&T, 올리베티 세이코 등이 이 연구소에 재정지원을 하거나 수탁연구를 맡기고 있다.

미디어연구소의 연간 예산은 8백만 달러 정도인데 그 대부분을 일반기업체에 의존한다는 점이 미국의 여타 대학부설연구소들과 다르다. 다른 연구소들은 운영비를 대개 정부기관, 특히 국방부와 과학재단에 의존하기 때문이다.

미디어연구소에서 기업체의 참여를 유도하는 방법은 다음과 같다.

'30만달러를 내시면 두가지 선택권을 드립니다. 하나는 우리가 당신 회사만을 위해 그 돈만큼의 연구를 해드립니다. 물론 이 연구결과는 순전히 당신 것입니다. 당신 회사 직원외에는 아무도 이 연구실에 들어오지 못합니다. 다른 하나는 똑같은 연구비로 우리가 당신을 위해 하는 연구를 다른 회사나 기관들에 공개하는 것입니다. 당신의 경쟁회사를 포함해서 말입니다. 물론 당신도 다른회사의 연구를 언제라도 들여다볼 권리가 있지요. 그렇지만 연구결과는 연구비를 투자한 회사에 돌아갑니다.

아 참, 참고로 말씀드리면 첫번째를 선택할 경우 당신이 우리 연구소를 방문했을때 해당부서의 연구원이 현관에서 친절히 맞을 것입니다. 그리고 바로 당신의 연구가 진행되는 연구실로 모시고 가서 연구결과를 보여드린후 다시 현관까지 배웅해드립니다. 그렇지만 연구소의 다른 곳에서 어떤 재미있는 연구가 진행되는지 당신은 알 수가 없을 겁니다.' 이렇게 되면 대부분의 기업은 두번째를 선택한다.

아이디어를 판다

그런데 미디어연구소는 기업에게 무엇을 파는가. 판매전략이 아무리 좋더라도 팔 것이 없다면 아무 소용이 없다. 기업의 입장에서는 MIT가 어떤 제안을 해오면 그것을 선뜻 거절할 용기가 없다. 끼어들자니 돈이 아깝고 빠지자니 나중에 무언가 기발한 것이 나올지 모르겠고…. 얼마전 일본의 한 회사가 이 연구소로 부터 재정지원을 요청받았을 때 그 회사는 액수를 깎거나 거절하기는 커녕 도리어 "경쟁사에는 50만 달러를 요구했다던데 왜 우리에게는 30만 달러만 부르지요"라고 반문했다고 한다.

실제 대학연구소에서 무엇을 하든 그것이 기업에서 바라는 상품으로 곧바로 연결되는 경우는 거의 없다. 이러한 점은 미디어연구소도 마찬가지다.

대학연구소에서는 교수를 중심으로 모든 연구활동이 이뤄지는데 교수의 본분은 강의와 기초연구이지 상품개발이 아니기 때문이다.

이에 대해 미디어연구소는 이렇게 말한다. '우리는 아이디어를 파는 것이지 상품을 파는 것이 아니다.' 다시 말해 기업은 투자한 돈에 대응하는 연구결과만을 가져가는 것이 아니라는 말이다. 기업은 자기회사 직원을 연구소에 파견하거나 상주시킴으로써 항상 새로운 기술과 접할 수 있고 캠퍼스의 신선한 공기를 회사에 들여올 수 있다.

악기제조회사에서 파견된 직원은 컴퓨터음악뿐만 아니라 다른 멀티미디어연구에도 견식을 넓히고 이를 통해 새로운 상품에 대한 아이디어를 얻는다. 또 연구소를 방문한 유명 음악가와 직접 대면하고 그들의 연주와 컴퓨터음악에 관한 견해를 들을 수 있다. 신문사에서 온 직원은 전자출판에 대한 새로운 인식을 얻는다. "회사측은 이러한 부수효과만으로도 충분히 투자한 값어치를 건질 수 있다"고 이 연구소에 파견된 모 회사 중견사원은 말한다. "기업이 얼마나 얻느냐는 것은 전적으로 그 회사의 노력에 달려있습니다. 계속 직원을 파견하고 정보를 수집하는 등 항상 적극적인 자세를 가져야 합니다. 새로운 연구결과를 상품화하는 일은 일차적으로 기업의 책임입니다. 우리는 그 가능성만을 보여주는 것으로 역할과 의무가 끝납니다." 연구소 한 프로젝트담당자의 말이다.

미디어연구소가 어떤 곳인가를 기술하기 전에 이 연구소를 창설했으며 현재 소장으로 있는 니콜라스 네그로폰테라는 인물에 대해 알아보자.

네그로폰테는 부모가 선박업을 하는 부유한 그리스인으로 어린 시절을 스위스 뉴욕 런던 등지에서 보내고 1960년대 중반 MIT에서 건축전공으로 박사학위를 땄다.

그의 학위논문은 기존의 제도용구에 의존하지 않고 컴퓨터를 이용해 건축물을 설계하는 새로운 기계를 주제로 다루었다. 요즘의 CAD(컴퓨터 이용 설계)와 비슷한 개념이다. 그는 졸업후 MIT에 남아 계속 컴퓨터를 건축설계에 이용하는 연구에 계속 몰두했는데, 이 과정에서 그는 건축설계만이 아닌 일반적인 지능형컴퓨터를 꿈꾸게 됐다. 네그로폰테는 요즘 한창 각광받는 데스크톱컴퓨터나 멀티미디어에 관한 연구를 이미 10년 전에 시작했다. 최근 그가 관심을 기울이는 분야는 3차원 텔레비전, 컴퓨터심부름꾼, 컴퓨터예술 등이다.

네그로폰테는 전문학술지보다 일반교양지나 대중잡지를 통해 더 많이 알려져 있다. 그의 연구가 일반인의 관심영역을 벗어나지 않음은 물론이거니와, 영화배우 로버트 와그너를 닮은 매력적인 용모, 세련된 의상(어떤 패션잡지는 그를 표지인물로 실었다), 학자로서 특이한 면모(그는 사교적이고 여행을 즐기며 여름철에는 에게해변의 별장에서 보낸다), 능통한 외국어실력 등을 통해 그는 대중적인 인물로 자신을 부각시키는데 성공했다.

1979년 미테랑 프랑스대통령의 지시로 파리에 설립된 '퍼스널컴퓨터와 인간개발을 위한 센터'의 초대소장으로 잠시 미국을 떠났던 그는 이듬해 다시 MIT로 돌아와 1985년 미디어연구소를 발족한다.

미래지향적으로 설계된 미디어연구소의 건물은 일본 NEC와 마쓰시타로부터 기증받았고 건물이름은 그의 후원자이며 MIT총장을 지낸 바있는 제롬 위스너를 따서 위스너빌딩이라 지었다.

미디어 과학

필자가 처음 미디어연구소에 대해 알게된 것은 1985년 가을이다. 당시 필자는 MIT에서 그다지 멀리 떨어져있지 않은 하버드대학에서 강사로 있었다. 어느날 점심 때 교수들끼리 식당테이블에 둘러앉아 대화를 나누다가 화제가 새로 생긴 미디어연구소로 돌아갔다. "미디어연구소?" "매스커뮤니케이션 하는 곳에서 컴퓨터 연구를 한다고?" "MIT에는 컴퓨터하는 사람이 그렇게 없나?" 대부분의 사람들은 미디어연구소가 신문방송학 언론학 등을 다루는 곳으로 오인하였다.

한달 후 필자에게 미디어연구소를 방문할 기회가 생겼다. 그곳에서 일하는 연구원의 말을 빌면, 미디어연구소는 인간과 인간, 인간과 기계, 기계와 기계간의 정보교환에 연관된 모든 주제를 다루며, 이를 연구하는 학문을 새로이 '미디어 과학'으로 정립하는데 있다 한다.

좀 더 구체적으로 이야기해 보자. 전화통화 음악 TV 프로그램 신문기사 영화 등 모든 미디어는 궁극적으로 디지털화될 것이다. 일단 디지털화된 후에는 그 내용이 무엇이든 간에 위성통신 테이프 케이블 디스크 등 여러 종류의 매체를 통해 전송될 수 있다. 즉 케이블 한개로 전화 음악 TV 신문 영화를 모두 받아볼 수 있다는 결론이다. 이런 시대가 오는 것은 시간문제이고 이에 알맞는 사회구조를 지금부터 연구해야 한다. 아날로그로 남는 것은 사람간의 직접대화와 공연예술 정도이며 이들 몇 안되는 아날로그 커뮤니케이션의 가치는 재평가되어야 한다.

필자는 그후 1988년 펜실베이니어대학으로 옮긴 후 미디어연구소 초청으로 다시 한번 그곳을 방문했다. 연구소의 이곳 저곳을 둘러볼 때 조그만 방에 레고 장난감 블럭이 수북이 쌓여있고 연구원 두명이 블럭을 가지고 놀고 있는 장면이 눈에 띄었다.

"현재의 블럭은 움직이지 않지요. 블럭 하나 하나가 움직일 수 있다 가정해 보세요. 이것들을 짜맞추어 실제로 움직이는 자전거 자동차 사람 동물 등을 만들 수 있지요." 모든 움직이는 부분은 컴퓨터로 콘트롤된다. "우리는 장난감 개발에 목적이 있는 것은 아니예요. 어린이의 학습과정, 나아가서는 인간의 학습능력과 학습과정에 관한 이론을 세우고 싶은거죠."

이런 장난을 하는 과정에서 어린이들은 자연적으로 컴퓨터 뿐 아니라 수학 물리학 전자공학 심지어 생물학의 기본 개념을 터득하게 될 것이다. 이 프로젝트는 물론 레고 장난감회사에서 연구비를 대고 있다.

레고 연구팀은 페이퍼트 교수가 이끈다. 그는 마빈 민스키 교수와 함께 MIT부설 인공지능연구소의 공동 창설자로서, 우리나라에는 신경망회로에 관한 저술 '퍼셉트론'(Perceptron) 으로 잘 알려져 있다.

페이퍼트는 레고연구 이외에도 보스톤 슬럼가에 있는 한 국민학교를 대상으로 한 프로젝트를 진행하고 있다. 학생 한명 당 컴퓨터 한대를 주면 도대체 교육시스템이 어떻게 바뀔 것이며 그 성과가 어떠할 것인가. 현재 아무도 그 대답을 할 수 없으나 우선 두가지를 기대할 수 있다. 첫째 교과과정이 교사에 의해서가 아니라 학생들에 의해서 창출될 것이며 둘째 주입식 교육으로부터 해방된다는 것이다.

예를 들자. 현재의 음악교육은 학생의 창조성을 전혀 무시하고 있다. 노래하고 악기 다루는 법은 가르치지만 작곡하는 방법을 가르치는 것은 꿈도 못꾼다.

작곡이라는 것이 전문가만의 전유물이기 때문에? 창작이라는 것이 그 분야의 전문가만이 해야되고, 할 수 밖에 없는 것인가. 꼭 그렇지는 않은 것 같다. 우리 모두 그림을 그릴 수 있고 글을 쓸 수 있고 타인과 대화도 할 수 있고 어렸을 때 학예회 무대에 서서 연극도 해보았다. 그런데 왜 작곡은 못하는가.

한가지 문제는 우리가 음악을 만드는 과정에서 만든 음악을 들어보아야 하는데, 그러기 위해서는 상당한 연주능력이 요구된다. 그런데 컴퓨터를 이용하면 컴퓨터가 악보대로 연주하는 것은 식은 죽 먹기이므로 우리의 연주능력에 관계없이 음악을 창조할 수 있는 것이다.

여섯살 난 한국 어린이를 프랑스 파리에 떨구면 1년 내에 불어를 완벽하게 구사한다. 수학이라는 것 자체도 일종의 언어라고 본다면 어찌하여 똑같은 여섯살 어린이는 10년이 지나도록 아니, 평생 수학이라는 언어로 의사소통을 못하는가. 가상의 '수학의 나라'( Mathland)를 만들어 어린이가 거기서 자라는 동안 자연스럽게 수학을 깨우치게 할 수는 없을까? 연구소 지하실의 커다란 홀에는 그랜드 피아노 한 대가 복판에 놓여있다. "유명한 연주인이 올 때마다 이 피아노로 연주하지요. 이들의 손놀림 하나 하나는 컴퓨터에 곧바로 기억됩니다. 언제든지 그 연주와 똑같은 연주를 피아노로 재생할 수 있습니다." 피아노 한 대가 입출력장치가 되는 것이다. "하지만 현재의 컴퓨터는 음악신호 자체를 다룰 뿐이지 음악내용은 전혀 이해하지 못합니다."

마초버교수의 이야기다. 그는 컴퓨터를 전공한 아버지와 피아니스트인 어머니에 영향받아 줄리어드에서 작곡을 공부하고 현재 미디어연구소에서 컴퓨터에 의한 음악이해 연구에 몰두하고 있다.
 

그 후 필자는 고국으로 돌아와 한국 과학기술원에 근무하게 됐는데 지난해 가을 미디어연구소 개소5주년 기념행사에 참석하게 되었다.

이틀에 걸쳐 진행된 행사는 심포지움이 주를 이루었으며 연구소의 12개 연구실에서 실별로 발표가 있었다. MIT총장의 경축사에 이어, 우리에게도 잘 알려진 알랜 케이가 '컴퓨터 혁명의 다음차례'라는 제목으로 발표하였다. "우리가 TV를 틀자마자 그때 방영중인 영화제목을 알아 맞추는데 2초이상 걸리지 않으나 이것이 현재의 컴퓨터에게는 불가능하다. 다음세대의 컴퓨터는 인간에게는 쉬우나 컴퓨터에게는 어려운 이런 일들을 처리하는 능력을 갖추어야만 할 것이다"고 강조했다.

뒤이어 등단한 페이퍼트교수는 언어와 언어의 전달수단인 미디어가 인간의 사고를 지배함을 상기시키고 현재의 컴퓨터는 인간의 사고를 창조하거나 효과적으로 전달하는데 적합치 않다고 말했다.
 

구어→펜→활자→전자매체로 이어지는 미디어 발달사의 다음 주자는 무엇이 될 것인가.

오후에 계속된 발표에서 민스키교수는 컴퓨터가 인간과 비슷하게 반응할수록 인간이 컴퓨터를 더 친숙히 여기고 더 많이 이용하리라 전제하고 이를위해 전문지식이 아닌 상식을 갖춘 컴퓨터가 개발되어야 한다고 주장하였다.

그러나 현재의 기술로 컴퓨터의 지능을 높이기 위하여는 더 많은 양의 지식을 넣어주어야 하는데, 지식의 양을 늘일수록 컴퓨터 메모리를 많이 차지하여 결과적으로 계산속도가 떨어지게 된다. 결국 컴퓨터를 더 영리하게 만들려고 노력할수록 거꾸로 컴퓨터를 더욱 바보로 만들고 만다. 민스키교수는 이어 인간의 뇌는 적어도 40종류의 다른 지식 표현방식을 사용한다고 주장하며 이런 컴퓨터의 구현은 소위 나노테크놀로지(nanotechnology)로써 가능하다고 말했다.

뒤이어 네그로폰테는 어느 연사도 민스키교수 바로 다음번에 자원하지 않아 할 수 없이 자기가 나오게 되었다는 농담으로 분위기를 잡은후 '대중매체여 안녕'이라는 제목의 연설을 하였다.

저녁에는 미디어 연구소에서 저녁식사를 겸한 리셉션과 연구실 단위의 오픈하우스, 컴퓨터음악의 연주회가 있었다.

첫번연주에서는 마초버교수의 지휘에 맞추어 컴퓨터가 두대의 기타와 드럼을 결합하여 새로운 음악을 창조했다.

두번째 연주는 '태양과 얼음'이란 협주였는데 오보에 클라리넷 플루트 드럼을 사람이 연주하면 동시에 컴퓨터가 이를 듣고 현악파트를 연주한다. 플루트의 즉흥연주에 맞춘 컴퓨터 반주가 재미있었다. 마지막으로 네손을 쓰는 피아노 협주가 있었다. 물론 네손중 두손은 컴퓨터가 담당했다.

12개 연구실의 주요 테마

다음날은 하루종일 실단위의 발표가 있었다. 발표내용과 필자가 그간 경험한 것을 토대로 알아본 실별 연구활동은 다음과 같다.

①미래의 학교 : 페이퍼트 교수가 맡고 있으며, 연구내용은 앞서 기술한 바와 같다. 컴퓨터가 무제한 공급되었을때 학교교육이 어떻게 바뀔 것인가를 연구한다. IBM 레고 애플 등에서 지원하고 있다.

②미래의 TV : HDTV연구가 주를 이루나 이에 그치지 않고 지능형TV를 꿈꾸고 있다. 3대TV사를 비롯, 미국최대의 유선TV국인 HBO 코닥 RCA 등이 후원하고 있다.

③미래의 영화 : 워너브라더스 컬럼비아 파라마운트의 지원으로 컴퓨터가 영화제작 및 배급에 이용될 가능성을 추구한다. 일례로 영화가 수록된 비디오테이프의 무단복사에 어떻게 대처할 것인가. 가능성의 하나는 영화가 수록된 원본의 값을 빈 테이프값 수준으로 낮추는 것이다. '과학동아'를 공짜로 읽기위해 책을 빌려다가 복사하는 독자가 있을까. 복사하는데 드는 비용이 원본사는 값보다 크면 무단복제는 사라진다는 이론이다. 그러나 원본의 값을 낮추려면 아직도 많은 기술적 문제를 해결해야 한다.

④전자출판 : IBM 아사히신문 등이 참여하여 기존의 매체-신문 잡지 책 TV 등-를 종합한 새로운 전자미디어를 노린다. 앞서 말한대로 개인화가 키포인트다.

⑤3차원 영상 : 홀로그래피를 이용한 3차원 영상, 3차원 TV 등을 꿈꾸고 있다. 제너럴 모터스와 국방부가 연구자금을 대고 있다.

⑥음성연구 : 미일의 전화회사와 국방부 등과의 계약으로 음성인식과 인공지능 기술을 이용하여 '비서역할을 하는 컴퓨터'를 개발하고 있다. 앞으로 10년이내에는 완벽한 음성인식기술은 불가능하다는 것이 연구책임자인 슈먼트의 고백이나 현 기술수준만으로도 얼마든지 유용한 지능형 시스템을 만들 수 있다고 장담한다. 실제로 발표도중 직접 컴퓨터에게 전화를 해서 통화하는 등 그의 탁월한 엔지니어링 솜씨를 발휘했다.

⑦컴퓨터 음악 : 컴퓨터를 이용한 자동반주, 컴퓨터와의 협연 등 실제적인 응용뿐 아리라, 음악자체에 대한 수학적 이론을 시도한다.

⑧인간과 컴퓨터의 상호작용 : 키보드가 아닌 다른 종류의 입력방식을 연구한다. 가령 사용자의 눈동자 위치를 알아냄으로써 사용자가 모니터상의 어느 부분을 보고 있는가를 찾아낸다. 또 다른 예로 음성인식과정에서 음성신호만이 아니라 입모양을 이용하려는 시도를 하고 있다.

⑨컴퓨터 그래픽스와 애니메이션 : 무생물체의 운동과 상호작용을 주관하는 역학, 생물체의 운동을 기술하는 생물학과 해부학 인공지능 로봇공학 등을 모두 수용하는 애니메이션 시스템을 구축하려 한다. 영화대본을 집어 넣으면 자동적으로 영화가 만들어져 나오는 것이 궁극적 목표다. 연구책임자인 젤처교수가 만든 애니메이션은 이 방면의 고전으로 꼽히고 있다.

⑩시각처리 : 인간의 시각처리 및 영상이해능력을 탐구함이 주 목적이나 그 연구 결과가 이미 HDTV 지능형센서 애니메이션 3차원TV 등에 응용되고 있다. 최근 얼굴 인식에 관한 연구가 큰 진전을 보고 있다.

⑪시각적 언어 : 그래픽디자인 건축설계 지도제작 등을 위해 새로운 컴퓨터 기법을 개발한다.

⑫대화형 영화 : 미모의 다벤포트교수가 이끄는 연구팀으로서, 최근 유행하는 하이퍼텍스와 하이퍼미디어를 연상하면 크게 틀리지 않는다. 물론 하이퍼미디어 이상의 목표를 추구하지만.

이상 12개 연구실에서 약 60개의 프로젝트를 수행하고 있다. 미디어 연구소 이외에 어느 연구소가 얼마 안되는 연구진을 가지고 이처럼 다양한 연구를, 다양한 스폰서의 지원을 받아 행하고 있겠는가.

대학원생이 학문창조의 주역

끝으로 미디어연구소를 생각할때 필자가 부러운 것이 두가지 있다. 환상적이라고 표현할 만한 연구팀 연구비 연구환경이 부러운 것은 사실이나, 이런 것들은 차라리 부차적이다.

첫째 민스키와 페이퍼트교수가 보여주는 학문에 대한 개방적 진취적인 자세다. 두사람 모두 MIT 인공지능연구소의 창설자로서 그 위치가 확고부동하며 인공지능학계의 대부격인 인물들인데 그 자리를 박차고 미디어연구소에 들어와 한개의 연구팀을 맡고 있다.

배타적인 학계의 생리를 고려하면 이것은 거의 불가능한 일처럼 보인다.

두번째는 MIT 학생들에 관한 것이다. MIT의 대표색깔-회색바탕의 암적색-은 콘크리트 바닥에 흘린 코피에 비유된다. "MIT학생은 아마도 이 세상에서 가장 열심히 공부하는 학생들일 것입니다."어떤 업체에서 파견나와 있는 직원의 말이다.

이때 나는 속으로 다음과 같이 반문했다. "이 친구, 한국의 과학기술원 학생들이 얼마나 열심히 공부하는지 모르는군. 우리 학생들은 하나라도 더 배우기 위해 시험도 정규시간이 아닌 주말에 보기를 자청한다네."

여기까지는 사실이다. 그러나 미디어연구소의 한 교수가 토로하듯이 "새로운 학문을 창조하는 것은 우리 교수들이 아니랍니다. 대학원 학생들이지요. 신경생물학 전산학 인공지능 등이 그러했고 미디어 과학도 네그로폰테의 학창시절 작품이지요."라는 대목에서는 선뜻 비교하기가 어려워진다.