d라이브러리

“이건 벽 속에 있는 또 다른 벽돌일 뿐이야

(All in all, it’s just another brick in the wall)” ♩♫♪♬

멀리서 희미한 음악 소리가 들린다. 콘서트홀 밖에서 듣는 합창단 노래같기도 하고, 잠들기 전 눈을 감았을 때 옆집에서 나지막히 들리는 소리 같기도 하고. 완전히 틀린 비유는 아닐지도 모른다. 콘서트홀이나 옆집이 아니라, 다른 사람의 뇌 속에서 울리는 노래이니 말이다.

8월 15일, 로버트 나이트 미국 버클리 캘리포니아대 심리학과 교수 연구팀은 15초 길이의 짧은 음악 파일 두 개를 공개했다. ^{doi: 10.1371/journal.pbio.3002176} 하나는 영국의 록밴드 ‘핑크 플로이드’의 1979년 앨범 ‘더 월(The Wall)’에 실린 ‘어나더 브릭 인 더 월, 파트 1’의 일부분이었다. 그리고 다른 하나는 같은 노래를 실험 참가자들에게 들려주면서 측정한 뇌파를 인공지능으로 분석해 재구성한 노래였다. 가사가 부정확하고 잡음이 많아졌지만, 조금만 주의를 기울이면 누구나 같은 곡임을 알 수 있을 정도로 유사했다. 대체 어떻게 이런 일이 가능했을까. 이를 연구하는 음악신경과학자를 찾아 설명을 들었다.

감각: 공기의 파동에서 전기 신호로

9월 6일 대전 KAIST 인문사회과학동. 이경면 교수를 만난 음악신경과학 연구실은 컴퓨터, 책상, 책꽂이가 있는 평범한 사무실처럼 보였다. 한 켠에 있는 검은색 야마하 피아노를 제외한다면.

“대학생 때 음대에서 작곡을 공부했는데, 어느 날 절대음감이라는 주제에 관심이 생겼어요. 사람마다 음악을 다르게 듣는다는 사실이 신기했죠. 그래서 심리학과에 편입했고, 음악 인지과학으로 박사 학위를 받았어요.”

이 교수의 연구 분야는 음악이 어떻게 뇌에서 해석되는지 연구하는 ‘음악신경과학’이다. 이를 알기 위해서는 신경과학은 물론, 음악 자체를 다루는 음악학, 음악 인지 과정을 탐구하는 음악 인지과학 등 다양한 학문을 알고 있어야 한다. 인문계와 예술계, 이공계를 아우르는 융합 학문인 셈이다. 이 교수에게 찾아온 이유를 설명하자, 그는 우리가 음악을 듣는 과정을 설명했다.

감각, 지각, 인지. 그는 뇌가 음악을 인식하는 과정을 크게 세 단계로 구분했다. 독자 여러분이 좋아하는 음악을 듣고 있다고 생각해 보자. 뉴진스의 ‘슈퍼 샤이’든, 아이유의 ‘밤편지’든, 데이브 브루벡 쿼텟의 ‘테이크 파이브(Take Five)’든 상관없다. 모든 음악은 소리, 즉 공기의 파동이다.

감각은 기계적 진동인 소리가 전기 자극인 신경 신호로 바뀌는 과정이다. 인간이 소리를 느끼는 감각 기관은 귀다. 소리가 고막을 통해 달팽이관에 전달되면, 달팽이관의 청각 세포는 소리를 신경 신호로 만든다.

이렇게 전기 신호로 번역된 음악은 비로소 뇌에 입력돼 정보로 처리되기 시작한다. 대뇌 아래에 있는 ‘뇌간(Brainstem)’은 귀에서 받은 전기 신호를 대뇌로 전달한다. 귀와 대뇌를 잇는 다리 역할을 하는 것이다. 음의 높이, 크기와 음색 정보가 모두 전달되며 이러한 청각 정보는 뇌간에서 무의식적으로 24시간 내내, 심지어 자고 있을 때도 처리된다.

지각･인지: 전기 신호가 드디어 음악으로

뇌간을 거친 전기 신호는 시상을 거쳐 귀 윗부분의 청각 피질에 도착한다. 청각 피질은 음의 높낮이, 크기, 길이 등을 판단하고, 여기서 우리는 음을 듣고 있다는 사실을 드디어 지각하기 시작한다. 이전까지 무의식적으로 처리되던 청각 신호가 마침내 의식의 영역으로 들어오는 것이다.

마지막으로, 청각 피질이 다른 뇌 부위와 협력해 지각된 소리를 음악으로 인지한다. 들린 음들을 이어서 선율로 만들고, 리듬을 파악하는 등 음악을 세부적으로 인지하는 과정에는 대뇌 거의 전체가 쓰인다.

가령 음악을 들으며 춤을 출 때 청각 피질은 몸의 운동을 담당하는 뇌 부위와 연합 네트워크를 만든다. 그런가 하면 가사를 해석할 때는 언어 영역이 나선다. 화성 진행이 복잡한 곡을 들으면 전전두피질이 활동한다. 전전두피질의 역할 중 하나가 음악이 기대하는 대로 흐르는지 아닌지 추측하는 일이기 때문이다.

물론, 음악을 듣는 과정이 귀에서 뇌간, 청각 피질, 대뇌 여러 부위로 이어지는 일방통행로는 아니다. 우리는 듣고 있는 음악이 어떻게 흘러갈지 추측하기도 하고, 그에 따라 소리는 기대하거나 추측한 대로 들리기도 한다. 니나 크라우스 미국 노스웨스턴대 신경생물학 교수가 저서 ‘소리의 마음들’에서 비유한 것처럼, 청각 경로는 귀에서 뇌로 흘러가는 일방통행로보다는 여러 진입로와 교차로가 엮인 복잡한 도로 네트워크에 더 가깝다.

뇌파로 뇌에 흐르는 노래를 엿듣다 

음악신경과학자들은 어떻게 이 복잡한 과정을 알았을까. 뇌에 흐르는 노래를 엿듣기 위해 이 교수 연구실에서는 신경 세포들이 주고받는 전기 신호인 ‘뇌파’를 측정한다. 이 교수 연구실의 박석범 연구원이 직접 뇌파 측정 장비를 시연해보였다. 두피 전체에 전극을 씌워 뇌파를 측정하는 EEG 장비를 착용한 모습이, 멀리서 보니 마치 덥수룩한 가발을 뒤집어쓴 듯했다.

“특히 청각 연구에서는 시간을 정확하게 측정하는 것이 중요합니다. 음악 감상과 뇌의 활동이 거의 실시간으로 일어나기 때문이죠. 뇌파 측정은 기능적 자기공명영상(fMRI) 같은 다른 뇌 관찰 방법에 비해 시간에 따른 뇌의 변화를 정밀하게 측정할 수 있어 음악 연구에 많이 사용됩니다.” 이 교수는 설명했다.

앞서 핑크 플로이드 음악을 재구성했던 나이트 교수팀도 뇌파를 측정했다. 연구팀은 뇌파를 더욱 정밀하게 측정하기 위해서 치료용으로 뇌에 전극을 심은 뇌전증 환자 29명을 실험 참가자로 모집했다. 연구팀은 뇌전증 수술을 기다리는 실험 참가자들에게 핑크 플로이드 노래를 들려주면서 2668개의 전극으로 뇌파를 측정했다.

“왜 굳이 핑크 플로이드 노래였나요? 더 위켄드의 ‘블라인딩 라이츠(Blinding Lights)’ 같은 팝 유행가도 있고, 쇼팽의 ‘녹턴 Op.9, 2번’처럼 클래식 음악을 쓸 수도 있잖아요?”

9월 13일, e메일로 진행된 인터뷰에서 논문의 제1저자인 루도빅 벨리에 미국 버클리 캘리포니아대 헬렌 윌스 신경과학연구소 연구원은 “저를 포함한 모두가 핑크 플로이드를 좋아했기 때문”이라고 말문을 뗐다. “요즘은 핑크 플로이드보다 재즈 트럼페터 이브라힘 말루프의 음악을 즐겨 듣지만요.”

물론 연구에 사용될 음악이 연구자들의 취향만으로 선택된 건 아니다. 연구팀이 중점을 둔 부분은 뇌가 음악을 인지할 때의 반응을 최대한 이끌어내는 것이었다. 그러려면 너무 평범하거나 새롭지 않으면서, 동시에 다채로운 사운드를 들려주는 음악을 골라야 했다.

“이 음악은 익숙하면서도 새롭습니다. 다른 대표곡인 ‘어나더 브릭 인 더 월, 파트 2’보다는 덜 유명하지만 비슷한 멜로디가 나오죠. 멜로디, 보컬, 리듬도 다채롭게 등장합니다. 만약 최신 유행가를 썼다면 나이가 많은 참가자들의 뇌 활동 기록을 관찰하기 어려웠을 거예요. 클래식 음악은 보컬이 없고요.” 뇌가 가장 ‘음악 인지 활동’을 열심히 할 수 있는 음악으로 핑크 플로이드를 골랐다는 뜻이다.

광범위한 뇌파 자료를 측정한 뒤에는 인공지능(AI) 모델을 만들어 뇌파 신호를 학습시켰다. 음성 인지와 음악 인지가 비슷하리라는 가정 하에, 음성을 인지하고 복원했던 이전 연구에서 쓰인 방법을 도입해 뇌파에서 음악을 복원했다. 그 결과, 음악이 성공적으로 재구성됐다. 원곡에 비해 해상도는 한참 떨어지지만, 리듬과 화성, 가사의 일부분을 알아들을 수 있었다.

뇌파를 통해 듣고 있는 음악을 재구성하는 연구가 이번이 처음은 아니다. 박 연구원은 “이전에도 뇌파 측정 데이터로 실험자가 듣고 있는 음악의 멜로디나 리듬을 재구성한 연구가 있었다”며 “하지만 전체적으로 음악을 정밀하게 복원한 사례는 처음”이라고 강조했다. 리듬, 멜로디, 화성처럼 음악의 개별 단위가 아니라, 이들이 모두 조합된 음악을 복원했다는 의미다.

머릿속 음악 들키는 시대 올까 

벨리에 연구원은 이번 연구가 더 자연스러운 음성을 합성하는 데 도움을 줄 수 있다고 밝혔다. 지금까지 뇌파를 통한 음성 합성은 뇌의 운동 피질 측정에 의존했다. 입술과 혀에 보내는 신경 신호를 바탕으로 음성을 합성했는데, 이러면 딱딱한 기계적 음성이 만들어졌다. “이번 연구 결과를 바탕으로 청각 피질의 기능을 음성 합성 머신러닝 모델에 포함시키면, 음조와 뉘앙스를 담은 자연스러운 음성을 만들 수 있을 겁니다. 사실, 말의 의미는 단어는 물론 뉘앙스에 따라서도 크게 달라지니까요.”

한편 이 교수는 이 연구가 발전하면 음악계에도 새로운 변화를 가져다 줄거라 기대했다. “머릿속에 들어있는 멜로디를 곧바로 표현할 수 있습니다. 연구는 물론이고 작곡과 같은 음악 업계 전반에도 혁명적인 변화가 일어날 수 있죠.”

그러나 먼 미래의 이야기다. 음악신경과학 연구실의 김현재 연구원은 “(버클리 캘리포니아대 연구팀의) 이번 연구는 29명의 실험 참가자에게 하나의 노래만 들려준 결과물”이라며 “다른 종류의 노래를 맞추기 위해서는 또 다른 뇌파 데이터로 학습을 해야하기 때문에 지금보다 훨씬 많은 데이터와 노력이 필요할 것”이라고 말했다. 현재 기술로는 우리의 음악 취향이 쉽사리 들키지는 않을 것이라는 얘기다.

이 교수는 “신경과학 분야에서 청각은 시각에 비해 연구가 매우 적은 편”이라며 “아직은 풀어야 할 질문이 많다”고 설명했다. 과연 음악신경과학에는 어떤 흥미로운 질문들이 기다리고 있을까. 파트 2에서 살펴보자.