d라이브러리

애니메이션은 초당 수십 장의 그림을 촬영한 뒤 성우의 목소리, 효과음 등의 소리를 덧입혀야 비로소 한 장면이 완성된다. 그런데 최근 영상만 있다면 소리가 저절로 만들어지는 컴퓨터 프로그램이 개발됐다.

더그 제임스 미국 스탠퍼드대 컴퓨터공학과 교수팀은 애니메이션에 등장하는 사물의 움직임을 계산해서 소리를 생성하는 소리 합성 시스템을 만들었다. 이는 8월 12~16일 캐나다 밴쿠버에서 열린 세계 최대 컴퓨터 그래픽 학회 ‘시그라프(SIGGRAPH) 2018’에서 공개됐다.

소리는 물체가 진동하면 그 진동이 공기나 물과 같은 매질을 타고 퍼져나가는 파동이다. 그래서 연구팀은 물체의 진동과 그 진동이 만들어내는 파동을 알아내는 데 집중했다. 예를 들어 드럼의 심벌을 막대로 치는 영상이 시스템에 입력되면 심벌의 움직임을 파악한 뒤, 심벌의 진동과 그 진동이 어떤 음파를 만들어 내는지 계산한다.

이어서 음파가 주변 사물에 충돌하거나, 다른 음파와 섞이면서 어떻게 방향과 강도가 바뀌는 지도 알고리즘을 통해 예측한다. 물론 음파는 매질을 타고 멀리 퍼지지만, 연구팀은 심벌 주위에 생성된 음파에만 집중했다. 이렇게 계산된 음파는 합성 시스템에서 소리 데이터로 변환된다.

제임스 교수는 “시각적 요소를 소리로 변환한 작업”이라며 “더 복잡한 애니메이션의 소리도 만들 수 있도록 계속 연구할 계획”이라고 말했다.