손가락에 반지처럼 끼우기만 하면 수어를 번역해 주는 기기가 나타났어! 사람 통역사처럼 수어를 읽어내는 AI 수어 번역기를 만나 그 비결을 들어보자.

 

박동현

 

자기소개 부탁해.
안녕! 나는 반지형 수어 번역기 WRSLT야. 수어는 청각장애인 등 음성 언어를 사용하기 어려운 사람들이 쓰는 언어야. 손의 움직임, 모양, 방향 등으로 의사소통하지. 오른손 엄지부터 약지, 왼손 검지, 약지, 새끼손가락에 반지처럼 생긴 날 끼우고 수어를 하면 번역할 수 있어. 연세대학교, 한국외국어대학교 공동 연구팀은 나를 통해 88%가 넘는 정확도로 수어 단어를 인식했다는 연구 결과를 5월 1일 국제 학술지 ‘사이언스 어드밴시스’에 발표했어.

수어 번역기는 어떻게 작동해?
내 몸속에는 손가락의 각도와 움직임을 감지하는 센서가 들어 있어. 각 센서는 내 몸이 기울어질 때 손가락이 어느 방향으로 얼마나 빠르게 움직였는지를 파악해. 이렇게 모은 데이터는 스마트폰 앱의 인공지능(AI) 서비스에 보내져. 여러 손가락의 센서들은 블루투스로 연결돼 있어서 무선으로 동시에 데이터를 보낼 수 있지. 수어 동작별 의미를 학습한 AI는, 새로운 데이터가 들어오면 학습된 동작과 비교해, 비슷한 의미를 찾아 앱 화면에 보여줘.

어떤 단어를 인식할 수 있어?
AI는 일상 대화에서 자주 쓰는 표현으로 미국수어 100개와 국제수어 100개 단어를 학습했어. 예시로는 ‘이름’, ‘친구’, ‘좋다’, ‘동물’ 등이 있어. 연구팀은 수어 사용자 2명이 각 단어를 50번씩 반복하게 해 총 1만 개의 학습 데이터를 만들었어. 이후 다른 수어 사용자 5명이 100단어씩 수어를 했을 때, AI가 인식할 수 있는지 시험했어. 그 결과, AI는 미국수어 단어를 평균 88.3%, 국제수어 단어를 평균 88.5%의 정확도로 인식했어. 대부분 50개 이하의 단어만 다루는 기존 무선 수어 번역기에 비해, 인식할 수 있는 단어 수를 두 배 이상 늘렸지.

기존 수어 번역기와는 어떤 점이 달라?
기존의 수어 번역 장치는 장갑처럼 손 전체를 덮거나 여러 센서가 선으로 연결된 경우가 많았어. 그래서 손을 움직이기가 불편했지. 하지만 나는 반지처럼 작고 가벼운 데다 선 없이 작동해서 손을 더 자유롭게 움직일 수 있어. 연구팀은 앞으로 내가 청각장애인과 비장애인 사이의 의사소통을 돕는 실시간 번역 기술로 발전할 수 있을 것으로 기대했어.