d라이브러리

뇌파를 사용해 각자의 취향에 맞는 음악을 창작할 수 있을까?

이하린 독일 막스플랑크 뇌인지연구소 연구원과 이용범 작곡가는 이 가벼운 질문이 ‘뇌파 작곡 AI’ 프로젝트의 시작이었다고 회상했어요. 둘은 2020년 10월 테니스 모임에서 처음 만나 음악이라는 공통 관심사로 가까워졌어요. 종종 만나 이야기를 주고받다가 이 질문이 불씨가 돼 2022년 뇌파 음악 예술단체 ‘AIAR’을 설립했지요.

2022년 8월 AIAR은 영국 세인트앤드루스대학교에서 열린 ‘다중 지능 여름학회’에서 처음 뇌파를 사용한 작곡 AI를 선보였습니다. 이 학회는 인공지능, 기계학습 등 다양한 분야를 연구하는 과학자와 음악, 미술, 영화계에 종사하는 예술가가 협업한 사례를 발표하는 자리예요. 학회에서 선보인 뇌파 작곡 AI는 신선한 시도라며 참여자들에게 호평을 받았지요.

인터뷰 

뇌과학자와 작곡가의 만남!

뇌과학 연구원과 작곡가는 왜 이런 AI를 만들게 됐을까요? 

독일에 사는 이용범 작곡가와 이하린 연구원을 화상으로 만나 뇌파 작곡 AI를 만든 계기부터 뇌과학과 작곡 속 수학, 

예술 AI의 논의점까지 다양한 이야기를 들어봤습니다.

Q. 뇌파 작곡 AI를 어떻게 만들게 됐나요?

이하린 : 저와 이용범 작곡가는 독일에서 테니스를 치다가 만났어요. 저도 음악을 공부했었고 이 작곡가는 음악을 가르치고 있으니까 공통 관심사가 잘 맞았지요. 계속 이야기를 하다 보니 같이 프로젝트를 해 보면 좋겠다는 생각이 들었어요. 그러던 중 저와 같은 연구소에서 뇌파를 이용해 다양한 실험을 하고 있는 알레산드로 브라가 연구원과 함께 뇌파로 음악을 표현하는 도구를 만들면 새로울 것 같다고 생각했어요.

누군가의 뇌파를 스캔했을 때 무슨 일이 일어날지는 아무도 모르잖아요. 아마 같은 소리라도 모든 사람은 저마다 다른 반응을 보일 거예요. 그렇다면 이 사람의 뇌가 더 끌리는 소리를 AI로 파악해 작곡할 수 있게 하면 그 안에서 청취자가 작곡가도 될 수 있는 거지요. 그런 접근 자체가 신선하다고 생각했어요.

이용범 : 저는 작곡가로서, 작곡가가 주도해 음악을 만드는 방식이 변해야 한다고 생각해요. 작곡가와 청취자의 벽이 허물어졌을 때 음악이 더 다양해지고 접근하기 쉬워질 것 같거든요. 그래서 청취자가 음악을 만드는 주체로 참여하게 하고 싶었어요.

Q. 뇌파 작곡의 맨 마지막 단계에는 작곡가가 AI가 만든 소리를 다듬어 줘야 하는데요. 아직은 사람의 도움이 필요한 건가요?

이용범 : 아직은 작곡가가 음악을 조금 더 듣기 좋게 만드는 세세한 작업이 필요해요. 작곡가와 AI가 상호보완적 역할을 하는 거지요. 기술이 더 발전하면 AI 혼자 곡을 완성할 수 있을 거예요.

Q. 뇌파 작곡 AI에서 아직 보완해야 할 부분이 있다면요?

이하린 : 소리를 듣고 느끼는 감정을 뇌파로 분석해 즐거움, 슬픔 등 특정 감정을 느끼는 소리로 음악을 만들기는 어려워요. 워낙 사람의 감정이 복잡하기 때문에 저희가 쓰는 뇌파 측정 기기인 EEG를 이용해 실시간으로 어떤 감정을 느끼는지 분석하는 데에는 한계가 있거든요. 

그런데 최근 페이스북 연구팀에서 사람이 어떤 생각을 하고 있는지를 텍스트로 변환시켜주는 도구가 나왔어요. 이처럼 점점 더 기술이 발전되면 뇌파로 사람의 감정을 정확히 읽어 감정에 기반한 음악을 만드는 것이 충분히 가능할 것 같아요.

Q. 두 분이 생각하기에 뇌파 연구의 매력이 뭔가요?

이용범 : 저희가 한번은 첼리스트에게 뇌파 측정 기계를 씌우고 연주를 하면서 나오는 소리와 뇌파를 결합해 새로운 소리를 만들었어요. 소리가 또 다른 음악을 탄생하는 게 굉장히 놀라웠지요. 그걸 보고 뇌파가 주는 정보가 엄청 많다고 생각했어요.

이하린 : 저는 뇌파라는 게 그 사람 자체를 나타낸다고 생각해요. 어떻게 보면 사람의 아주 작은 부분을 숫자로 보는 거지만, 동시에 나를 솔직하게 보여주는 신호니까요. 그렇기 때문에 뇌파를 가지고 뭔가 연구하는 것이 정말 매력적인 것 같아요.

AI 예술을 어떻게 바라볼 것인가

Q. 최근 AI 예술가를 독창적인 예술가로 인정할 것인가에 대해 논란이 있어요. 뇌파를 사용한 작곡 AI를 통해서 만든 음악 같은 경우에는 고유한 음악이라고 볼 수 있다고 보나요?

이용범 :  사람들은 아직 AI가 인간과 유사한 행동을 하는 것에 대해 무섭다고 생각하는 것 같아요. 점차 AI가 확산되고 AI의 창작 활동이 자연스러운 현상이 된다면 불쾌감이 사라질 것 같아요. 산업혁명이 일어났을 때도 기계에 반발한 수공업자들이 기계를 파괴하는 ‘러다이트 운동’을 펼쳤잖아요. 어떤 사회의 역사적인 흐름에서 반대하는 사람들이 존재하지만 어떤 기술의 발전은 피할 수 없고, 이를 어떻게 풀어야 할지가 지금 우리가 겪는 숙제가 아닐까 생각해요.

Q. 다른 AI 예술가가 만든 작품의 독창성을 인정해도 된다고 생각을 하나요?

이용범 :  얼마 전 AI 작곡가 ‘이봄’에 대한 뉴스를 봤어요. 이 AI가 만든 곡이 몇 개 있어 저작권료가 지급됐는데, 한국저작권협회에서 저작권법상 AI가 작곡한 곡은 AI 개발자에게 더이상 저작권료를 지급할 수 없다는 결론을 냈다는 내용이었지요.* 그런데 AI가 혼자 갑자기 켜져서 음악이 만들어진 게 아니란 말이에요. 사람이 데이터를 모아서 디자인하고 AI와 같이 작업한 거지요. 그래서 AI 예술가를 전통적인 예술가로서의 주체가 아닌 제3의 대상으로 바라봐야 할 것 같아요. 

예술에서 AI의 도입을 너무 반대하기 보다는 일종의 도구로서 존중해 줄 필요도 느껴요. AI가 인간만 할 수 있었던 예술성의 상당 부분을 구현할 수 있게 되면서 다양한 작품을 만들 수 있게 되었어요. 사실 지금도 작곡가들이 유튜브 BGM 등 간단한 음악을 만들 땐 AI를 쓰거든요.

Q. 앞으로의 연구는 어떤 방향으로 할 계획인가요?

이용범 : 저는 뇌과학과 예술이 하나로 융합되는 새로운 프로젝트를 계속 진행하고 싶어요. AIAR에서는 이전에 저희가 했던 익숙한 것이 아니라 서로 가장 도전하고 싶은 것들을 해왔어요. 앞으로도 그렇게 하고 싶어요.

이하린 :  AI는 워낙 빠르게 발전하고 기술도 계속 새롭게 나오고 있어요. 그렇기 때문에 AIAR이 AI로 새로운 시도를 가장 많이 하는 단체가 됐으면 좋겠어요. 지금처럼 그 시도를 재밌게 풀어나가면 좋고요.  

* 안창욱 GIST 교수팀이 개발한 작곡가 AI ‘이봄’은 가수 홍진영의 ‘사랑은 24시간’ 등 6곡을 작곡해 한국음악저작권협회로부터 저작권료를 지급받았다. 이 사실을 뒤늦게 인지한 협회 측은 지난 7월부터 저작권료 지급을 중단했다. 

국내 저작권법상 저작물은 ‘인간의 사상 또는 감정을 표현한 창작물’, 저작자는 ‘저작물을 창작한 자’로 명시하기 때문이다. 결론적으로 인간의 창작물만 저작권법의 대상이 된다.