d라이브러리

뉴미디어아트 예술가에게 미술 도구는 곧 ‘알고리듬’입니다. 화가가 멋진 그림을 그리기 위해 새로운 재료와 화풍을 연구한다면, 뉴미디어아트 예술가는 기계학습 같은 새로운 알고리듬 기법을 익히죠. 도대체 어떤 작품을 만들길래 프로그래머도 아닌 예술가가 알고리듬을 배우는 걸까요?

일본 도쿄의 인공섬 오다이바에는 ‘빛의 놀이터’라 불리는 독특한 미술관이 있습니다. 그림이나 조각 대신 꽃, 파도, 나비 등 자연을 표현한 영상이 공간을 가득 메우고 때때로 홀로그램이 나타납니다. 화려한 영상에 푹 빠져 손을 뻗으면 꽃에 앉아있던 나비가 날아가 버리고, 물길 한가운데 서 있으면 물이 관객을 비껴가죠. 심지어 스크린에 그린 물고기가 살아나서 화면 속을 헤엄치기도 합니다. 공간이 곧 예술 작품인 이곳은 예술가, 수학자, 컴퓨터 애니메이터 등으로 구성된 다국적 예술가 집단 ‘팀랩’이 만든 미디어아트 뮤지엄입니다.

알고리듬을 활용한 예술, 뉴미디어아트

팀랩이 만든 예술 작품을 흔히 ‘뉴미디어아트’라고 합니다. 컴퓨터, 텔레비전, 음악, 비디오 등의 디지털 미디어를 활용해 만든 예술 작품인 ‘미디어아트’ 중에서도 컴퓨터를 주로 활용해 만든 작품을 말하죠. 뉴미디어아트의 특징은 터치스크린, 증강현실 같은 디지털 기술을 활용해 작품을 만들고, 알고리듬을 이용해 관객이 작품과 상호작용할 수 있도록 하는 겁니다. 알고리듬이란 어떤 값을 입력했을 때 원하는 결괏값이 나오도록 만든 규칙의 집합으로, 기수법이나 셈법 등을 뜻하는 알고리즘과는 구분됩니다. 

예를 들어 관객의 행동이나 표정을 인식해 스크린 속 영상이 바뀌는 작품을 만들고 싶다면, 관객의 행동이나 표정이 입력값이고 화면에 표시되는 영상을 결괏값으로 하는 알고리듬을 만들어야 합니다. 예술가가 작품을 통해 나타내고 싶은 메시지는 예술가가 정한 알고리듬의 계산 절차에 따라 바뀌는 거죠. 

팀랩은 수학동아와의 이메일 인터뷰에서 “알고리듬과 영상, 홀로그램 같은 미디어 기술은 예술 작품을 만드는 중요한 도구”라며, “과거 그림과 조각으로만 표현하는 방식에서 벗어나 폭넓은 표현을 가능하게 한다”고 말했습니다.

새로운 표현은 새로운 알고리듬에서

뉴미디어아트 예술가는 작품을 구상하는 것부터 만드는 것까지 일반적인 화가와 작업 방식이 다릅니다. 가장 먼저 관객에게 전달하고 싶은 메시지를 떠올리는 건 같지만, 작품에 필요한 설치물을 만들 때는 건축가처럼 설계도를 그려야 하고, 이후에는 프로그래머처럼 알고리듬을 만들어야 하죠.

2014년 올해의 예술가상을 받은 국내 뉴미디어아트 예술가인 양민하 작가는 설치물 제작부터 전기회로 설계, 알고리듬 코딩까지 작품에 필요한 모든 요소를 직접 만듭니다. 양 작가의 대표 작품인 ‘묵상’은 화면에 놓인 3개의 소리 장치로부터 소리의 파동이 빛으로 표현돼 나오고, 소리 장치 가운데 달린 센서가 관객의 동작을 인식해 그 움직임에 맞춰 빛이 왜곡되도록 만들었죠.

파장을 표현한 빛이 자연스럽게 왜곡될 수 있도록 양 작가는 ‘펄린 노이즈 알고리듬’을 활용했습니다. 펄린 노이즈 알고리듬은 1980년대 켄 펄린 미국 뉴욕대학교 컴퓨터공학과 교수가 지형이나 눈 같은 자연 현상을 현실감 넘치게 표현하기 위해 개발한 알고리듬입니다. 예를 들어 산맥에 있는 산의 높이는 무작위하면서도 특정 구간 안의 값을 가져야합니다. 말도 안 되게 들쭉날쭉하면 각각이 산처럼 보이지 않기 때문입니다. 이를 구현하기 위해 수의 크기 차이가 들쭉날쭉한 일반 난수가 아닌 수의 크기 차이가 작은 난수를 만드는데, 이때 미적분학 같은 고급 수학 이론이 쓰입니다.
최근에는 많은 알고리듬이 무료로 인터넷에 공개돼 있어 쉽게 활용할 수 있지만, 작품에 딱 맞는 알고리듬은 대부분 새로 개발해야 합니다. 필요하면 알고리듬을 만들기 위해 새로운 코딩 언어도 배워야 하죠. 

양 작가는 “새로운 기법은 곧 새로운 표현 방식”이라며, “뉴미디어아트의 특성상 매년 새로운 언어나 알고리듬 기법을 익혀야 한다”고 말했습니다. 

알고리듬이 발전하면 예술도 발전한다

최근에는 인공신경망, 지도 학습 등 기계학습을 활용한 알고리듬이 속속 등장하면서 뉴미디어아트에도 새로운 작품들이 등장하고 있습니다.

예를 들어 여러 이미지를 학습해 새로 입력한 이미지를 정확하게 분류하는 기계학습 알고리듬을 이용해 서울 하늘에서 얼굴 형상의 구름을 찾아 실시간으로 보여주는가 하면, 꽃 사진을 늘리거나 뒤틀고 조각낸 뒤 인공지능이 꽃이라고 인식한 사진으로 ‘어디까지 꽃이라고 할 수 있을까’라는 주제로 전시를 열기도 하죠. 또 시간의 흐름에 따라 변화하는 데이터를 분석해 그 특징을 찾는 순환 신경망(RNN)을 이용해 새로운 형태의 음악을 만들기도 합니다.

알고리듬뿐 아니라 수학, 공학 분야의 최신 기술들은 뉴미디어아트와 서로 함께 발전하는 관계입니다. 예술과 수학, 과학, 공학과의 융합을 선도하는 미국 매사추세츠공과대학교(MIT)의 연구소 ‘미디어랩’은 새로운 기술을 개발하면 그 기술로 예술 작품을 만듭니다. 예술가가 참신한 발상으로 기술을 활용하는 점을 이용해 생각하지 못했던 오류를 발견할 수 있기 때문이죠.

이처럼 뉴미디어아트는 나날이 진화하고 있습니다. 팀랩은 “우리가 창의적인 작품을 만들 수 있는 비결은 경계 없이 지식을 공유하기 때문”이라며, “점점 발전하는 알고리듬과 미디어 기술로 관객들이 전에 없던 경험을 할 수 있는 작품을 만들려고 노력한다”고 밝혔습니다.

Q 뉴미디어아트에 빠진 이유가 뭔가요? 

어린 시절 만화가가 꿈이었어요. 하지만 부모님이 만화보다 미술을 공부하기를 바라셔서 고3 때부터 미술을 시작했고 디자인을 전공했죠. 대학교 2학년 때 MIT 미디어랩이 만든 작품을 보고 컴퓨터 알고리듬을 이용해 예술 작품을 만든다는 것을 알게 됐어요. 

처음부터 끝까지 혼자 하는 성격이라 코딩과 수학을 익히면 작품을 혼자 만들 수 있어서 매력을 느꼈죠.

Q 수학도 많이 활용하나요?

알고리듬을 만들 때 ‘행렬’과 ‘삼각함수’ 개념을 정말 많이 써요. 움직임은 대부분 방향과 크기를 함께 나타내는 수학 개념인 ‘벡터’로 나타내니까 벡터를 연산하는 ‘내적’이나 ‘외적’ 같은 개념도 알아야 하죠. 

기계학습은 무료로 공개된 코드를 활용하면 되지만, 깊게 이해하고 응용하려면 미적분도 익혀야 합니다.

Q 알고리듬을 만드는 게 어렵지 않나요?

고3 때까지 이과여서 알고리듬이나 수학에 익숙한 건 맞지만, 그렇다고 쉽진 않아요. 최근에는 기계학습을 공부하고 있는데, 공부할 게 많아서 좀 무서울 정도죠.

Q 과학 기술이 앞으로 예술에 어떤 영향을 줄까요?

인공지능과 빅데이터 등이 예술에 끼친 영향은 상상하기 어려울 정도예요. 앞으로 다가올 인공지능 시대에는 인공지능이 작품을 보고 특징을 쉽게 파악할 테니 작가 고유의 표현 방식도 사라질지 몰라요.

하지만 컴퓨터가 뉴미디어아트를 발전시켰듯 새로운 기술은 곧 예술의 새로운 재료가 될 거고 나노 공학이 발전하면 ‘미시 세계의 예술’ 같은 새 분야가 등장할 수도 있을 거예요.