d라이브러리

얏호~! 드디어 최근에 나온 스마트폰을 내 손에 넣었다. 전원을 켜고 휙휙 화면도 넘기고 카메라도 찍어보고 사진도 구경하고…. 잠깐, 그런데 뭔가 이상하다. 화면을 살짝 누를 때랑 길게 꾸욱 누를 때의 기능이 다른 건 알고 있었는데, 짧고 세게 누르니 새로운 창이 뜬다. 마치 컴퓨터에서 오른쪽 마우스를 누를 때처럼 말이다.

휴대전화로 사진을 찍으려면 바탕화면에 있는 카메라 아이콘을 살짝 터치하면 된다. 만약 이 아이콘을 길게 꾹 누르면, 휴대전화는 카메라 어플리케이션을 삭제하겠다는 뜻으로 받아들인다. 그런데 최근 애플이 출시한 아이폰6S에는 새로운 터치 기능이 추가됐다. 카메라 아이콘을 순간적으로 세게 누르면 ‘셀카’ 찍기나 비디오 녹화, 슬로모션 녹화, 사진 찍기처럼 다양한 기능이 팝업으로 뜬다(오른쪽 사진). 바로 ‘3차원 터치’다.

예전에는 컴퓨터나 기계를 움직이려면 키보드와 마우스가 반드시 필요했다. 하지만 지금은 화면을 손가락으로 누르거나 손바닥으로 쓸어버리는 듯한 제스처로도 명령을 내릴 수 있다.

손가락 제스처 인지하는 터치스크린

요즘 우리가 하루 중 가장 많이 사용하는 제스처는 손가락으로 스크린을 누르는 일이다. 그런데 어떤 스크린은 손가락 끝보다 손톱으로 눌렀을 때 정확하게 눌리는 반면, 어떤 스크린은 손톱이나 장갑을 인식하지 못한다. 스크린마다 제스처를 인식하는 원리가 다르기 때문이다.



터치폰이나 내비게이션, 결재용 단말기는 손톱이나 장갑도 인식한다. 이런 스크린은 저항막 방식이다. 투명 전도막(산화인듐-주석으로 만들어 전기가 통하는 얇고 투명한막) 두 장이 약 0.1mm 간격으로 겹쳐져 있는데, 평소에는 전기가 서로 통하지 않는다. 손가락으로 스크린을 누르면 부드러운 위층이 구부러지면서 아래층에 닿아 전류가 흐른다. 이때 전압과 저항의 차이, 압력을 이용해 손으로 만진 위치의 좌표를 알 수 있다. 하지만 이러한 방식은 너무 살짝 누르거나, 여러 군데를 동시에 누르면 인지하지 못한다.

삼성 갤럭시나 애플 아이폰, 아이패드처럼 손톱과 장갑은 전혀 인지하지 못하고 꼭 피부가 닿아야 하는 스크린은 정전기 방식이다. 유리판 위에 붙어 있는 투명 전도막에는 항상 전류가 흐르고 있다. 이때 손가락으로 화면을 만지면 스크린에 흐르고 있던 전류가 손가락 끝으로 모인다. 그럼 스크린의 네 모서리에 있는 센서가 전류의 흐름을 감지해 위치를 파악한다. 세게 누르지 않고 살짝 닿기만 해도 터치를 인식하며 여러 군데를 동시에 눌러도 모두 인식한다. 인지하는 방식은 다르지만 둘 다 화면을 xy좌표로 생각해 손가락이 닿은 위치를 인식한다.

몸을 움직여 아바타로 골프를 치거나, 리모컨 없이도 텔레비전 채널을 돌리려면 더 복잡한 제스처가 필요하다. 이때 기기는 제스처를 2차원이 아닌 3차원으로 분석한다. 우리가 xyz좌표 안에서 어떻게 움직이는지 인지하는 셈이다. 아이폰6S에서 화면을 살짝 또는 세게 누를 때 기능이 달라지는 비결도 3차원 좌표로 터치를 구별하기 때문이다.


수학으로 만드는 좋은 제스처

일상에서 터치스크린이 많아지면서 제스처도 다양해졌다. 당연히 휴대전화 제조업체끼
리도 제스처를 만드는 데 경쟁이 붙었다. 과연 어떠한 제스처가 살아남았을까?

사진을 확대하거나 축소하기 위해서 한 스마트폰 업체에서는 손가락 두 개를 스크린에
동시에 대고 벌리거나 오므리는 동작을 제스처로 활용했다. 또 다른 업체에서는 스마트
폰을 앞으로 숙이거나 뒤로 젖히는 동작을 활용했다. 결과는 극과 극이었다. 소비자는
손가락 두 개만으로 사진 크기를 마음대로 조절하는 ‘더 편한’ 제스처를 골랐다.

제스처는 무조건 쉽고 편해야 한다. 동작만 보고도 어떤 명령인지 추측할 수 있어야
하고, 누구나 따라 할 수 있어야 한다. 또 언제든지 명령할 수 있도록 기억하기 편해야
한다. 그러면서도 기계가 알아들을 수 있을 정도로 특별한 동작이어야 한다.

아무리 획기적이고 재미난 제스처라도, 실제로 사용하려면 몸에 익숙하지 않거나 따
라 하기 힘든 경우가 많다. 과학자들은 몸이 부분별로 움직일 때의 정보를 이용해 제스
처를 만드는 수학모형을 개발했다.






핀란드 헬싱키대 이브 호건 교수팀은 손이 움직이는 정도를 관찰한 정보를 넣어 인체 공학적으로 쉽고 편한 제스처를 만드는 수학모형을 만들었다. 손이 3차원 좌표 위에 있다고 가정하고 손가락의 모양이나 손이 처음 놓여 있던 위치, 움직였을 때 위치, 각 손가락마다 구부러지는 각도 등을 점과 선으로 만들어 분석한다. 이 모형에 다양한 손동작을 입력하면 여러 가지 제스처를 만들 수 있다.

미래에는 키보드와 마우스 사라질까?

제스처로 기기에 명령을 내릴 수 있다면 미래에는 키보드나 마우스가 사라지게 될까? 전문가들은 제스처만으로는 명령을 내리는 데 한계가 있기 때문에 키보드나 마우스가 사라지지는 않을 것으로 보고 있다. 특히 글자를 쳐야 하는 키보드의 경우에는 하드웨어가 사라지더라도 빛으로 책상에 자판 모양을 쏘아 손가락으로 두드려야 할 것이다.

게다가 아직까지 터치스크린 없이 허공에서 이뤄지는 제스처는 한 번에 입력하기가 쉽지 않다. 같은 동작 또는 같은 말을 여러 번 반복해야 하거나, 전혀 다른 기능으로 알아듣기도 한다. 제스처가 키보드와 마우스를 대체하려면 기기가 제스처를 한 번에 정확하게 알아들을 수 있는 기술도 필요하다.

그래서 캐나다 제스처 인식장치개발업체인 탈믹랩에서는 전체적인 동작이 아니라 근육이 미세하게 움직이는 것에 주목해 좀 더 정확하게 제스처를 입력하는 기술을 개발했다. 또 스위스 로잔 공대 연구팀은 머리에 뇌전도 센서를 달아 뇌파로 움직이는 휠체어를 개발하기도 했다. 이외에도 과학자들은 입술의 모양이 나 눈동자의 떨림 등도 제스처로 개발하고 있다.

최근에 탄생한 스마트폰이 손가락의 힘을 인지할 수 있게 됐듯이, 가까운 미래에는 터치스크린이 부드럽거나 까칠하고, 차갑고 뜨거운 촉감까지도 구별해 느끼게 될지도 모른다.



도움 및 자료   폴란드 그단스크 기술대 멀티미디어시스템학과 피오트르 달카의‘Human-computer interface based on visual lip movement and gesture recognition’ 핀란드헬싱키대 이브 호건의 ‘Multi-Touch Rotation Gestures:Performance and Ergonomics’, 크리스토퍼 위켄스의  'Engineering Psychology and Human Performance’, 조광수(연세대 정보대학원 교수)