d라이브러리

K팝이 세계적 인기를 얻은 비결로는 단연 화려하고 절도 있는 ‘칼군무’가 꼽힌다. 손끝 동작까지 맞춘 아이돌의 빈틈없는 춤을 보고 있자면 절로 탄성이 나온다. 그런데 이런 한국 아이돌의 칼군무를 코딩으로 분석한 유튜버가 있다. ‘techie_ray’라는 유튜브 채널을 운영하는 호주의 레이 선(Ray Sun) 씨다. 그는 최근 한국 아이돌의 안무를 분석하는 머신러닝 알고리즘을 직접 만들어 6월 21일 유튜브에 업로드해 조회수 155만 회를 기록했다(8월 19일 기준). 인공지능(AI)으로 본 가장 완벽한 칼군무 아이돌은 누굴까. 과학동아가 그와 e메일 인터뷰를 진행했다.

합성곱 신경망 활용한 ‘오픈포즈’ 사용  

선 씨는 자신을 호주에 사는 평범한 변호사라고 소개했다. 그의 취미는 K팝 아이돌 안무 따라 추기. 하지만 매일 연습하고 영상을 촬영해 확인하기를 반복해도 영 실력이 늘지 않았다. 그는 ‘주관적’이라고도 볼 수 있는 춤 실력을 ‘객관적’으로 평가할 수 있는 애플리케이션(앱)을 만들어보기로 했다. 시작은 오직 춤을 잘 추고 싶다는 생각이었다. 

평소 프로그래밍 언어 중 하나인 파이썬(python)에 대한 기본 지식은 있었던지라 마이크로소프트의 오픈소스 코드 공유 플랫폼 깃허브(GitHub)를 뒤적이기 시작했다. 그러다 ‘오픈포즈(OpenPose)’라는 프로그램을 발견했다. 2017년 미국 카네기멜론대 연구팀이 개발한 오픈포즈는 영상 속에서 사람 몸의 뼈대와 얼굴 특징을 실시간으로 추출할 수 있다. 

이 기술의 핵심은 합성곱 신경망(CNN‧Convolutional neural network)이다. CNN은 시각적 이미지 분석에 가장 많이 활용되는 머신러닝 알고리즘이다. 쉽게 말하면 컴퓨터가 이미지를 처리할 수 있도록 학습시키는 방법이다. 

먼저 이미지에 들어있는 곡선이나 외곽선에 대한 특징을 인식하게 하고, 이를 기반으로 물체의 질감이나 특정 부위를 인식하게 한다. 최종적으로는 원하는 특징(춤추는 사람의 자세)을 추론해내도록 한다. 영상은 2차원 이미지의 연속이므로 영상 분석도 같은 원리로 가능하다. 

선 씨는 아이돌 안무 영상과 같은 안무를 따라하는 영상에서 춤을 추는 사람의 자세가 서로 얼마나 다른지 오픈포즈를 이용해 분석했다. 먼저 두 영상에서 각각 춤을 추고 있는 인물의 관절 위치를 좌표로 나타낸 뒤, 두 좌표를 잇는 벡터의 기울기 값을 구해 비교했다. 단순히 관절이 위치한 좌표를 비교하는 것이 아니라, 동작을 이루는 관절의 각도를 비교한 것이다. 이 경우 촬영 각도나 춤추는 사람의 신체 조건에 따라 관절의 좌표가 달라지는 문제를 해결할 수 있다. 

선 씨는 “EXO-K의 ‘MAMA’ 안무를 따라 한 영상을 실제 EXO-K의 춤과 비교한 결과 안무 일치율이 60%로 나타났다”며 “동작이 다른 부분을 프레임별로 확인해 춤 실력을 향상시킬 수 있었다”고 말했다. 

26개 아이돌 그룹, AI로 안무 분석

그가 개발한 머신러닝 알고리즘을 이용하면 한 아이돌 그룹내에서 멤버들 사이에 춤이 서로 얼마나 일치하는지도 분석할 수 있다. 실제로 그는 샤이니, 투모로우바이투게더(TXT) 등 한국의 11개 보이그룹과 블랙핑크, 여자친구 등 15개 걸그룹의 안무 일치율을 계산했다. 각 그룹의 안무 연습 영상 중 모든 멤버가 같은 안무를 추고 서로 동선이 겹치지 않는 부분만 편집해, 30초 이내 영상을 그룹별로 3~4개씩 만들었다.
이를 오픈포즈에 업로드해 프레임 단위로 관절의 위치와 자세를 찾은 뒤 멤버 간 안무 일치율을 계산했다. 또 여러 명의 멤버를 동시에 비교하기 위해서 멤버 간 관절을 연결한 벡터값의 기울기 차이가 5% 이상 발생하면 안무 일치율을 1%씩 감점한다는 기준을 세웠다.

결과는 놀라웠다. 보이그룹에서는 세븐틴이 95.77%로, 걸그룹은 아이즈원이 95.87%로 안무 일치율이 가장 높았다. 세븐틴은 멤버 수가 13명, 아이즈원은 12명으로 두 그룹 모두 멤버 수가 10명이 넘는 대형 그룹이다. 

전반적인 안무 일치율은 보이그룹보다는 걸그룹이 더 높았다. 또 대부분 그룹에서 안무 일치율이 90%가 넘었다. 한국의 아이돌이 얼마나 많은 시간을 안무 연습에 투자하는지 짐작할 수 있는 대목이다. 

그의 안무 분석 영상이 유튜브에서 히트를 친 뒤에도 그의 도전은 계속됐다. 동선상 다른 멤버 뒤에 가려지는 멤버를 제외하고 안무 일치율을 계산하도록 규칙을 수정했고, 가장 키가 큰 멤버와 가장 키가 작은 멤버의 키 차이를 보상값으로 적용해 키 차이에서 발생하는 오차를 최소화하는 등 알고리즘을 더 정교하게 업그레이드했다. 그는 “앞으로도 알고리즘을 계속 업그레이드하며 분석의 정확도를 높여갈 계획”이라고 말했다. 

그의 작업은 프로그래밍을 전공한 사람이 아니더라도 딥러닝 기술을 유용하게 활용할 수 있다는 점에서 화제를 모았다. 영상을 본 조정찬 가천대 소프트웨어학과 교수는 “(아이돌 안무 일치율을 분석한 것은) 이미지 분석 딥러닝 기술을 활용한 좋은 사례”라며 “현재는 동작이 겹치지 않는 부분만 편집해 사용한 것으로 보이는데, 키 프레임 분석 등을 통해 사전 편집 없이 전체 영상을 넣어도 춤추는 자세를 인식할 수 있도록 알고리즘을 보완하면 좋을 것”이라고 말했다. 

●인터뷰 

'techie_ray' 채널 운영자, 레이 선

Q 자기소개를 부탁합니다.
안녕하세요. 저는 호주에 살고 있는 레이 선(Ray Sun)입니다. 시드니에서 변호사로 일하고 있어요.

Q 변호사라고요? 당연히 프로그래머일 거라고 생각했어요.
코딩은 사실 제가 하는 일과는 별로 관련이 없어요. 단지 취미로 즐기고자 독학했습니다. 처음에는 게임을 만들어보려고 유튜브 튜토리얼을 하나씩 따라 하며 공부했는데, 코딩의 기초를 배우기에 꽤 괜찮은 전략이었다고 생각합니다. 지금은 코딩 실력이 많이 늘어 다양한 주제에 도전하고 있습니다.

Q 한국 아이돌 그룹의 안무를 분석하게 된 계기가 있나요?
K팝은 지난 몇 년간 제게 큰 행복이었기 때문에 K팝 커뮤니티에 어떤 식으로든 보답하고 싶었습니다. 그게 인공지능(AI)을 활용해 아이돌 그룹의 안무를 분석한 가장 큰 이유입니다. 이 기회에 K팝 아이돌 그룹들이 얼마나 재능 있고 열심히 하는지를 ‘객관적으로’ 보여줄 수 있으면 좋겠습니다. 물론 제 코딩 실력도 향상시킬 수 있는 좋은 기회였죠.

Q  K팝이 정말 전 세계적으로 유명한가 봐요! 
K팝을 처음 접한 건 고등학교 때였습니다. 2010년쯤일 거예요. 그때 소녀시대의 ‘소원을 말해봐(Genie)’ 뮤직비디오를 보고 K팝의 음악, 춤, 영상기술, 영상미에 사로잡혔습니다. K팝 아이돌의 겸손하면서도 항상 열정적인 모습에서 많은 교훈을 얻었어요. 그때부터 K팝은 제 삶의 행복과 영감의 원천이 됐습니다.

Q 그럼 ‘최애’ 아이돌이 있나요?
정말 어려운 질문이네요. 보이그룹 중에서는 최고의 댄서와 보컬이 있는 EXO와 샤이니가 좋아요! 걸그룹에서는 CLC와 드림캐쳐를 꼽고 싶습니다. 특히 CLC의 자신감 넘치는 콘셉트를 사랑합니다. 록 음악 스타일의 드림캐쳐도 중독성이 있어요.

Q 춤을 잘 추고 싶어 영상을 만들기 시작했다면서요? 춤 실력 향상에 도움이 됐나요?
물론입니다! 제가 추는 춤이 실제 아이돌의 안무와 얼마나 비슷한지 확인해보니 어떤 부분이 부족한지 정확하게 알겠더라고요. 이후에도 저는 춤 실력을 향상시키기 위해 프로그램을 사용하고 있습니다.

Q 추가로 계획 중인 영상이 있나요?
유튜브 채널을 운영하기 위한 아이디어는 많습니다. 보컬의 음정 안정성을 분석하거나, 안무 난이도를 분석하는 등 더 다양한 분석을 위해 알고리즘을 업그레이드할 예정입니다. 또 최근에는 K팝 댄스 동작을 자동으로 만들어내는 AI도 만들었습니다.