조끼로 박자와 음정을 느끼고, 미디어아트를 보니 곡의 흐름이 눈앞에 그려집니다. 장애인과 비장애인이 함께 어울려 음악을 즐길 수 있는 축제 ‘페스티벌 NADA’에서만 할 수 있는 경험이죠. 축제의 하이라이트를 공개합니다!

수어 떼창부터 미디어아트까지! 숨겨진 감각 축제

페스티벌 나다(NADA)는 청각장애인도 라이브 공연을 함께 즐길 수 있는 음악 축제예요. 2012년 시작돼 지금까지 크라잉넛, 너드커넥션 등 유명 가수들이 무대에 올랐지요. 페스티벌 나다의 모든 공연은 실시간으로 곡의 감성과 흐름을 영상으로 보여주는 미디어아트 속에서 진행돼요. 수어 통역사가 무대 구석이 아닌 정중앙에서 악기 연주와 리듬, 뮤지션의 거친 숨소리까지 전달하지요. 진동 조끼를 입은 관객들은 밴드 음악의 드럼과 베이스 소리를 진동으로 느낄 수 있어요.

지난해 부산에서 열린 제12회 페스티벌 나다에서는 광주과학기술원 홍진혁 교수팀이 개발한 인공지능(AI) 수어 아바타 ‘소리 토끼’가 출연해 흥을 더했어요. 연구팀은 AI에 수어 사전 데이터와 음악의 특징에 따른 춤 동작을 학습시켰어요. AI는 음악의 선율과 박자를 분석해 이와 어울리는 춤 동작을 만들어내고, 노랫말을 분석해 수어 동작을 만들어 내요. AI가 하체부터 발까지의 춤 동작과 손과 어깨 부분의 수어 동작을 동시에 만들어 입체적이고 풍성한 움직임을 보여주도록 했죠.

AI 수어 아바타 소리 토끼는 공연장의 미디어아트에 등장해 크라잉넛의 노래 가사에 맞춰 수어로 춤을 췄어요. 이를 본 관객들은 소리 토끼와 같은 동작을 하며 수어 떼창으로 호응했지요. 페스티벌 나다의 기획자 독고정은 대표는 “매년 새로운 기술을 접목해 보다 다양한 장애인 관객들이 함께 즐길 수 있는 축제를 꾸리고 있다”고 말했답니다.

▲독고정은

청각장애인 관객들은 중저음역대 소리를 촉각으로 바꿔 주는 진동 조끼를 착용하고 공연을 즐겼다.

▲독고정은

➊ AI 수어 아바타 ‘소리 토끼’는 실시간으로 노래 가사에 맞는 수어 동작을 보여준다.

➋ 관객들이 밴드 크라잉넛과 수어 떼창을 하고 있다.

➌ 수어 통역사가 무대 한가운데에서 역동적으로 수어 통역을 하고 있다.

_ 인터뷰 / 독고정은(페스티벌 나다 기획자)

“장애인과 비장애인의 구분이 사라지는 순간을 보고 싶어요”

Q.페스티벌 나다를 기획한 계기가 있나요?

2011년, 청각장애인과 <나는 가수다>라는 TV 경연 프로그램을 함께 본 적이 있었어요. 그분이 공연을 보며 눈물을 흘리던 관객을 유심히 보다가, 제게 “공연장에 가면 정말 저렇게 눈물이 나나요?”라고 물어보셨죠. 그때 저는 청각장애인이 라이브 공연에 가는 일이 거의 없다는 걸 처음 깨달았어요. 청각장애인도 라이브 공연을 즐길 수 있는 방법은 없는지 찾아보면서 페스티벌 나다를 기획하게 됐어요.

Q.다양한 감각으로 음악을 느낄 수 있겠네요!

맞아요. 페스티벌 나다는 장애가 신체의 결함이 아니라 개개인의 ‘감각의 차이’라는 관점에서 출발해요. 신체적 또는 감각적 불편함이 있더라도, 접근 방식을 다르게 하거나 기술을 지원해 청각 대신 시각, 촉각 등으로 충분히 음악을 느낄 수 있다는 점을 보여주죠.

Q.가장 기억에 남는 순간이 있나요?

관객석에서 장애인과 비장애인이 구분되지 않는 순간이 있어요. 신나게 춤을 추며 다 같이 뛰어놀 때, 함께 같은 동작을 하며 수어 떼창을 할 때, 옆 사람과 수어로 대화하며 공연을 즐기는 모습을 볼 때 저도 덩달아 행복해요. 장애인과 비장애인이 섞여 노는 모습을 보며 아무리 힘들어도 페스티벌 나다는 계속해야겠다고 결심해요.

d라이브러리

[인포그래픽] 정말 체크남방 입나, 개발자의 진실