d라이브러리

노래나 악기 연주를 잘한다고 작곡을 할 수 있는 건 아니다. 듣기 좋게 음을 조합하기 위해서는 코드와 화성학을 공부해야 한다. 워낙 배워야 할 게 많다 보니 쉽사리 작곡을 시도하기 어렵다.

작곡의 문턱을 낮출 방법은 없을까? 최병익 쿨잼컴퍼니 대표는 몇 년 전 친구가 흥얼거린 멜로디를 반주로 만들어 선물한 적이 있었다. 음악에 젬병이었던 친구가 뛸 듯이 기뻐하는 모습을 보자 콧노래만으로 작곡할 수 있는 프로그램이 있으면 좋겠다는 생각이 떠올랐다.

때마침 삼성전자의 사내벤처 육성프로그램인 C랩(Creative Lab)의 모집공고가 떴다. 당시 삼성전자 가전사업부에서 엔지니어로 일하고 있었던 최 대표는 개발자 둘과 함께 C랩에 지원했다. 600여 개 팀과 경쟁한 끝에 1년간 지원받는 최종팀으로 뽑혔다.

“C랩이 워낙 좋은 제도라 경쟁이 심해요. 일단 지원서로 거르고 기술 면접을 봐서 실제로 구현가능한지, 제안한 사람이 이걸 구현할 능력이 있는지 따져요. 시장성을 보기 위해 가상 코인으로 모의투자도 해요. 최종 심사는 오디션 프로그램 같이 진행돼요. 심사위원 7명과 청중평가단 100명, 관중 500명 앞에서 17팀이 6분 동안 발표하면 곧바로 심사해서 프로젝트를 진행할 9팀을 선정해요.”

선정되면 1년간 개발에 몰두할 수 있다. 필요한 구성원도 사내에서 뽑을 수 있다. 최 대표는 함께 지원한 2명 외에 3명을 더 뽑아 6명이서 콧노래로 작곡하는 앱 개발에 힘썼다. 그리고 딱 1년 만인 2016년 5월 ‘험온’의 베타버전을 서비스했다. 험온은 ‘컴온(come on)’에서 착안했다 ‘컴’ 대신에 콧노래를 부른다는 뜻의 ‘험(hum)’을 써서 이름을 지었다.

험온을 켜고 콧노래를 부르면 그 음을 곧바로 악보로 옮겨준다. 악보에는 음표와 박자뿐 아니라 장단까지 표시된다. 피아노, 발라드, R&B, 록, 클래식, 셔플, 뉴에이지 중 한 가지 장르를 고르면 그에 맞게 편곡해 반주도 해준다. 반주에 쓰인 악기의 종류나 음량도 원하는대로 조절할 수 있고, 곡 여러 개를 묶어 앨범을 만들 수도 있다. 재킷까지 만들어 넣으면 나만의 음반 완성.

“무조건 1년 안에 결과물을 만들어야 했기 때문에 기본 기능만 탑재해 서비스했어요. 놀랍게도 생각보다 많은 사람들이 험온을 좋아해줘서 삼성전자를 퇴사하고 스타트업을 차리게 됐지요.”

콧노래가 음악 되는데, 푸리에 변환은 필수

험온의 기술은 크게 음정 인식과 머신러닝에 의한 반주 기능, 두 가지다. 먼저 콧노래를 인식해 악보로 만드는 기술을 살펴보자. 워너원의 에너제틱이 흘러나오면 이게 누구 노래인지, 누구 목소리로 노래를 불렀는지 곧바로 알 수 있다. 음악을 좀 아는 사람이라면 무슨 키로 불렀고, 어떤 악기가 쓰였는지, 빠르기는 어느 정도인지 까지 알아차린다. 하지만 컴퓨터는 이게 노래인지조차 모른다.

노래가 그리는 파형에서 사람이 인지하는 정보를 뽑아내야 한다. 이때 푸리에 변환이 쓰인다. 콧노래를 파형으로 나타내면 여러 가지 진폭과 진동수를 갖는 사인함수가 여러 개 더해진 모습이 된다. 어떤 음을 내면 원음뿐만 아니라 정수배의 진동수를 가진 배음도 여럿 생기기 때문이다.

따라서 파형에서 원음과 배음을 분리해 내야 한다. 푸리에 변환을 쓰면 각각의 함수가 진동수로 분해돼 주위보다 높은 값(피크)을 알 수 있다. 이것이 바로 배음이고, 이 가운데 가장 낮은 진동수의 피크가 원음이다.

음정 인식에서 푸리에 변환을 빼놓고 말할 수는 없어, 이미 개발된 알고리즘이 아주 많다. 하지만 실시간으로 원음과 배음을 구분하는 알고리즘은 없었기 때문에 꼬박 1년간 개발해 특허를 얻었다.

여기서 잠깐. 험온은 얼마나 정확하게 음정을 읽을까? 험온을 이용해 음악 시간에 작곡을 해봤다는 박신희 서울사대부설여자중학교 교사는 “같은 노래를 5번 부르면 정확하게 원하는 음으로 악보를 만들어 줬다”며, “콧노래로 했을 때는 이보다 정확했다”고 밝혔다. 학생들은 악보를 그리는 것을 매우 어려워해 작곡하기가 쉽지 않은데, 일단 콧노래를 부르고 컴퓨터가 악보를 만들면 잘못된 음을 정확하게 고쳐주면 되니까 편리했다.

최 대표 역시 작곡할 때 꼭 콧노래로 부를 것을 추천했다. 같은 음이라도 가사가 있는 노래로 부르면 콧노래로 부를 때보다 파형이 더 복잡해지기 때문이다. 앞으로 음정을 더 정확하게 인식하기 위해 머신러닝을 도입할 계획이다.

멜로디에 어울리는 화음은 머신러닝으로!

험온을 이용하면 음치도 그럴싸한 곡을 만들 수 있다. 멜로디를 이상하게 만들어도 인공지능이 그와 어울리는 화음을 만들어 주기 때문이다. 구글의 알파고가 바둑의 기보를 익혔듯 험온의 머신러닝은 수많은 악보를 공부했다. 장르별로 코드가 어떻게 진행되는지 터득해, 장르를 선택하면 그에 맞게 멜로디에 화음을 입혀 반주한다. 그래서 어떤 이상한 멜로디도 멋진 작품으로 재탄생시켜 준다.

험온의 구글 플레이 댓글에는 유난히 ‘감사하다’는 말이 많다. 작곡이 평생 꿈이었지만 일에 치여, 여건이 되지 않아 음악을 공부하지 못한 사람들에게 험온은 참 고마운 존재기 때문이다. 최 대표는 “2017년 6월 세계 3대 음악축제인 미뎀에서 만난 외국인 할아버지가 평생 소원인 작곡을 오늘 이뤄 고맙다고 말했을 때 매우 뿌듯했다”고 전했다. 험온이 지속적으로 사람들의 꿈을 이뤄주길 바란다.