수어를 글로 번역하는 반지가 나왔다. 유기준 연세대 전기전자공학과 교수가 이끈 국제 공동 연구팀이 개발한 스마트 반지다. 연구 내용은 5월 1일 국제학술지 ‘사이언스 어드밴시스’에 공개됐다. doi: 10.1126/sciadv.aec8995
수어 번역 기술은 손동작으로 의사를 전달하는 수어를 번역하는 기술이다. 기존에는 스마트 장갑을 착용하고 손의 움직임을 감지하거나 카메라로 움직임을 포착하는 방법 등을 썼다. 그러나 스마트 장갑은 배선 구조가 복잡해 손가락의 움직임을 방해했고, 카메라 방식은 장애물에 가려지면 정확한 움직임을 감지하기가 어려워졌다.
연구팀은 이런 수어 번역 기술의 한계를 극복하기 위해 새로운 수어 번역 도구로 ‘반지’를 택했다. 반지는 손가락의 움직임을 최대한 적게 방해하고 각 손가락들의 움직임을 감지할 수 있다는 장점이 있다. 연구팀이 개발한 반지는 수어를 할 때 가장 많이 쓰는 손가락 7개(오른손 엄지·검지·중지·약지, 왼손 검지·약지·새끼손가락)에 끼운다.
연구팀은 반지에 ‘가속도(관성) 센서’를 부착해 손가락이 좌우, 앞뒤, 위아래로 얼마나 움직였는지 감지했다. 가속도 센서는 스마트폰에서 기기의 회전을 감지해 화면을 가로 모드에서 세로 모드로 전환할 때 사용된다. 가속도 센서로 감지된 손가락의 움직임은 반지에 있는 전기 회로를 거쳐 블루투스 통신 모듈로 전달된다. 블루투스 통신 모듈은 정보를 컴퓨터로 무선 전송한다.
컴퓨터에 입력된 손가락의 움직임은 딥러닝 기반 알고리즘으로 해석했다. 딥러닝은 인간의 신경망 구조를 모방한 인공 신경망을 기반으로 대규모 데이터를 학습하는 기술이다. 연구팀은 이 알고리즘에 미국 수어 단어 100개와 국제 수어 단어 100개의 고유한 움직임 정보를 학습시켰다. 이 알고리즘은 학습한 수어 정보와 새로 입력된 손가락 움직임 정보를 비교해 단어를 분류하고, 문장으로 조합한다.
5명의 실험 참가자는 반지를 착용해 50번씩 100개의 단어로 수어를 했다. 그러자 반지와 연결된 정보 융합 알고리즘이 미국 수어는 평균 88.3%의 정확도로, 국제 수어는 평균 88.5%의 정확도로 번역해냈다. 연구를 이끈 유 교수는 보도자료에서 “청각장애인과 비청각장애인의 의사소통 장벽을 낮추는 새로운 소통 플랫폼이 될 것”이라고 밝혔다.
스마트 반지가 수어를 번역하는 방법
3 스마트 반지는 수어를 할 때 가장 많이 사용되는 손가락 7개에 착용한다. 딥러닝 기반 알고리즘이 가속도 센서의 데이터를 기존에 학습한 수어 정보와 비교해 단어를 분석한다.
