d라이브러리

2월 27일 서울 용산구 한남동 블루스퀘어에서는 특별한 K팝 공연이 펼쳐졌다. 가수 3명이 무대에 올라 신곡을 발표하는 쇼케이스다. 여기까지는 일반적이다. 그런데 이 노래의 작곡가가 인공지능(AI)이다. 인공지능이 이번에는 K팝에 도전장을 내밀었다.

작곡하는 인공지능 등장

‘피아노맨’이라는 노래로 유명한 미국의 싱어송라이터 빌리 조엘은 음악을 창작하는 일이 ‘인간다움을 폭발적으로 표현하는 방식’이라고 말했다. 영국을 대표하는 작곡가 프레드릭 딜리어스는 ‘영혼이 폭발하는 것’을 작곡이라고 정의했다.

인간의 고유 영역으로 여겨졌던 작곡에 인공지능이 뛰어들었다. 불과 몇 초 만에 음악을 창작하는 인공지능이 세상에 등장하자 외신들은 ‘모차르트는 잊어라(Forget Mozart)’라며 앞 다퉈 기사를 쏟아냈다.

“국내에서도 누구나 음악을 즐겁게 공유할 수 있는 생태계를 구축하고 싶었습니다. 음악은 그 누구의 소유도 아니니까요. 인공지능은 그런 문화를 만들 도구인 셈이죠.”

1월 30일 서울 중구 남산예술센터에서 국내 최초 인공지능 K팝 음반 레이블을 기획한 박찬재 엔터아츠 대표를 만났다. 박 대표는 작곡가이자 걸그룹 ‘걸스데이’의 기획자다. 국내 음반제작사인 엔터아츠는 영국의 인공지능 스타트업인 ‘쥬크덱’과 공동으로 인공지능 음반을 기획했다.

쇼케이스에서 공개한 세 곡은 쥬크덱의 작곡 인공지능이 만든 노래를 ‘인간 작곡가’가 국내 트렌드에 맞춰 편곡해 만들었다. 레이블 이름은 ‘A.I.M’으로 지었는데, ‘인류의 창작물(Art In Mankind)’과 ‘인공지능 음악(AI Music)’이라는 의미를 모두 갖고 있다.

쥬크덱은 웹사이트(www.jukedeck.com)를 통해 누구나 음악을 만들 수 있도록 인공지능 프로그램을 제공하고 있다. 포크, 팝, 락 등 음악 장르 13개 중 원하는 장르를 하나 택한 뒤, 노래 분위기 2개(밝은, 어두운) 중 하나를 고르면 된다. 노래를 구성할 악기(신시사이저, 피아노, 오케스트라 등)와 분당 박자 수(bpm·beats per minute) 등을 조정하면 10~30초 뒤 자신의 취향을 그대로 반영한 노래 한 곡이 나온다.

쥬크덱은 이 시스템을 만들기 위해 저작권에 저촉되지 않는 1970년대 이전 음악들을 인공지능에게 학습시켰다. 그리고 인간의 두뇌를 닮은 인공신경망을 구축해 음악의 구조와 규칙을 알고리즘으로 번역했다.

옛날 노래를 학습한 탓에 쥬크덱의 인공지능이 만든 노래는 요즘 분위기와는 다소 거리가 있다. A.I.M은 여기에 사람을 개입시켜 요즘 감성을 입혔다. 인공지능이 창조한 기본적인 틀에 사람의 손길을 더해 인공지능과 인간의 협업을 만들어냈다.

대표는 “대형 음원사이트의 인기 순위에 따라 음원 시장이 움직이면서 K팝의 다양성이 사라지는 부작용이 있다”며 “인공지능은 개인의 감성에 따라 작곡을 하는 만큼 K팝 생태계의 다양성 구축이라는 측면에서 긍정적인 역할을 할 것으로 기대한다”고 말했다.

작곡하는 인공지능이 인공지능 스피커와 접목되면 사용자의 음성을 인식해 기분을 파악하고, 그 기분에 맞춰 즉석에서 노래를 만들어 들려주는 일이 가능해진다. 더 나아가 인공지능 스피커가 사용자의 목소리를 분석하고, 작곡한 노래에 사용자의 음성을 입힌 노래를 만들 수도 있다. 음치, 박치 걱정 없이 누구나 가수처럼 멋지게 부른 자신의 노래를 듣고 가질 수 있게 되는 셈이다.

현재 엔터아츠는 작곡은 물론 작사까지 할 수 있는 인공지능을 자체적으로 개발하고 있다. 올해 상반기이 인공지능이 만든 음악을 공개하는 것이 목표다. 박대표는 “가사의 핵심 주제, 기승전결, 음율 등 인공지능으로 작사할 때 고려해야 할 요소가 많아 기술적으로는 작곡보다 더 어렵다”면서도 “앞으로 작사와 작곡을 인공지능이 맡아 하루 동안 생산되는 노래가 전 세계 인구보다 많아지는 날이 올 수도 있다”고 예상했다.

‘칼 군무’도 인공지능이 창작

K팝의 매력에서 안무를 빼놓을 수 없다. 보이그룹의 ‘칼 군무’나 가사와 딱 맞아 떨어지는 걸그룹의 안무는 노래를 더욱 매력적으로 만든다. 노래 ‘강남스타일’이 나오면 자신도 모르게 말춤 자세를 취하게 되는 것처럼 말이다. 여기에도 인공지능이 도전장을 던졌다.

김대승 지능정보기술연구원(AIRI) 책임연구원은 K팝 안무를 만드는 인공지능 ‘곡가무일체’를 지난해 선보였다. 기존에 개발된 안무 창작 인공지능은 재즈, 왈츠 등 특정 음악 장르의 춤사위를 학습시킨 뒤, 무작위로 음악을 들려줄 때 장르에 맞춰 춤을 추는 수준이었다. 엄밀히 말하면 ‘창작’을 하지는 않았던 셈이다.

김 연구원은 “인공지능은 문제를 해결하도록 잘 훈련된 일종의 도구로, 인공지능이라는 도구를 사용하면 기존에 안 풀리던 문제를 쉽게 풀 수 있다”며 “안무 인공지능도 결국 음악이라는 입력 값이 들어왔을 때, 안무라는 결과 값을 내는 함수를 찾으면 완성되는 것”이라고 설명했다.

곡가무일체에는 ‘완전접속망(fully connected network)’과 ‘나선형 신경망(CNN)’ 기술이 도입됐다.

곡가무일체는 인터넷에 공개된 3차원(3D) 안무 데이터 96개를 학습했다. 완전접속망으로 함수의 경우의 수를 줄였고, 이미지 인식에 강한 나선형 신경망으로 동작을 포착했다.

곡가무일체는 1~2년 내 다양한 산업에 적용돼 국내 콘텐츠의 산업성을 높이는 데 사용되는 것이 일차적인 목표다. 가령 애니메이션에 등장하는 캐릭터의 춤을 더 빠르고 더 저렴하게 만드는 데 활용할 수 있다.

현재 애니메이션은 캐릭터의 움직임을 구현하기 위해 사람의 움직임을 모션 캡처 장비로 읽어내 3D 데이터로 변환한 뒤 여기에 다시 캐릭터를 입히는 과정을 거치는 방식이어서 시간과 비용이 많이 든다.

이를 곡가무일체가 대신한다면 시간과 비용을 대폭줄일 수 있다. 작곡 인공지능과 만나 시너지를 극대화할 수도 있다. 가령 작곡 인공지능이 노래를 만들면, 곡가무일체가 이에 적합한 안무를 만든 뒤 이를 모니터에 띄우는 식이다.

현재 연구진은 곡가무일체의 성능을 업그레이드하고 있다. K팝 안무는 패턴이 다양하고 일률적인 동작이 별로 없을 뿐만 아니라 곡가무일체에게 학습시킬 3D 안무 데이터 자체가 거의 없다. 때문에 연구진은 유튜브에 공개된 안무 동영상에서 직접 3D 데이터를 추출하는 인공지능도 추가로 개발하고 있다.

지금까지 인공지능은 체스, 바둑 등 게임에서 인간을 놀라게 했다. 하지만 규칙과 승패가 정해진 게임과 달리 창작은 컴퓨터의 성능을 높인다고 해결되는 문제가 아니다. 또 창작 결과물에 대한 평가를 단순히 승패라는 이분법으로 나눠 생각할 수도 없다. 김 연구원은 “창작은 인간이 가진 고차원적인 능력 중 하나로 인공지능이 창작에 도전한다는 사실 자체가 의미 있는 일”이라고 말했다.