d라이브러리

요즘 TV 드라마를 보면 괜히 낯설다. 마스크를 안 쓰고 대화하는 모습이 너무 비현실적이어서다. 전 국민이 얼굴의 아래쪽 절반을 가리고 산지 어언 1년, 우리는 눈으로 말하고 눈으로 듣는 데 익숙해졌다. 마스크가 ‘뉴노멀’이 된 시대, 표정을 통한 의사소통이 어떻게 달라지고 있는지 살펴봤다.

표정은 감정을 보여주는 창이다. 표정과 감정 연구의 선구자인 미국의 심리학자 폴 에크만은 놀라움, 두려움, 혐오, 분노(화), 행복, 슬픔 6가지 기본 감정이 복합적으로 섞이면서 다양한 얼굴 표정으로 드러난다고 설명했다. 

에크만은 특정 감정을 느낄 때 특정 근육이 움직인다는 점에 착안해 감정과 표정을 연결시켰다. 즉 감정에 따라 독립적인 움직임이 가능한 얼굴의 3가지 부위(‘눈썹과 이마’ ‘눈과 눈꺼풀’ ‘코뿌리’)와 볼, 입, 코, 턱 등 얼굴 아랫부분이 어떻게 움직이는지를 조사했다. 예를 들어 놀라움을 느낄 땐 눈꺼풀이 크게 벌어지고 눈썹이 높이 치켜 올라가며 턱이 벌어진 채 밑으로 떨어진다고 했다.

마스크 쓴 얼굴, 
어린이들의 반응은?

이렇게 감정에 따라 움직이는 부위를 마스크는 상당 부분 가린다. 마스크 착용을 의무화하는 시간이 길어지면 인지능력이 미성숙한 어린이들이 ‘감정맹’으로 자랄 수 있다는 우려가 일각에서 나온다. 하지만 반대로 어린이들이 마스크 시대에 의외로 잘 적응할 수 있다는 연구결과도 있어 섣불리 결론을 내리긴 어렵다.

미국 위스콘신대 연구팀은 피부색이 다양한 7~13세 어린이 81명에게 슬픔과 분노, 두려움의 표정을 보이는 얼굴 사진을 보여주며, 얼굴이 마스크 또는 선글라스로 가려져 있을 때와 가려져 있지 않을 때 감정을 추론해내는 정확도가 어떻게 달라지는지 비교해 지난해 12월 23일 국제학술지 ‘플로스 원’에 발표했다. doi: 10.1371/journal.pone.0243708 

연구팀은 어린이들에게 사진 속 인물의 감정이 6가지 기본 감정 중 어떤 상태인지 알아맞히도록 했다. 실제 상황에선 타인의 표정 변화를 다양한 각도로 엿보기 때문에 실험에서도 얼굴 사진의 해상도를 14단계에 걸쳐 점차적으로 높여 어린이들이 표정을 서서히 볼 수 있게 만들었다. 

실험 결과는 예상대로였다. 마스크로 코와 입을 가리자 감정을 추론해내는 정확도가 떨어졌다. 마스크를 쓰지 않았을 때 감정을 알아맞힐 확률이 평균 34%인데 비해, 마스크를 썼을 때는 평균 24%였다. 연구팀은 상대적으로 낮은 점수긴 하지만 6가지 감정 중 하나를 무작위로 찍었을 때 나오는 점수보다는 유의미하게 높다고 평가했다. 마스크를 써도 감정 인식이 불가능한 것은 아니라는 뜻이다. 

추론 정확도가 가장 높은 것은 슬픈 표정이었다. 마스크로 가리지 않았을 때(43%)와 가렸을 때(28%) 모두 확률이 가장 높았다. 반면 두려운 표정은 정확도가 가장 낮았다. 마스크로 가리지 않은 얼굴(25%)과 가린 얼굴(18%) 모두 최저였다. 연구팀은 마스크가 입을 가리기 때문에 두려운 표정과 놀란 표정을 혼동하는 경우가 많을 것으로 추측했다. 

재밌게도 마스크의 효과는 여름철 흔히 착용하는 선글라스의 효과와 별다른 차이가 없었다. 같은 조건에서 선글라스로 눈과 눈썹을 가렸을 때의 감정 인식 정확도를 조사해보니 슬픔, 분노, 두려움을 인식하는 정확도가 각각 37%, 20%, 15%로 마스크를 썼을 때(28%, 27%, 18%)보다 크게 높지 않거나 오히려 낮았다. 

연구를 이끈 애슐리 루바 위스콘신대 매디슨캠퍼스 심리학과 박사후연구원은 과학동아와의 e메일 인터뷰에서 “어린이들은 눈만으로도 사람의 감정(특히 슬픔)을 잘 추론할 수 있다”며 “표정으로 감정을 추론하는 능력은 성인으로 갈수록 향상되기에 마스크 속 표정을 읽는 능력도 앞으로 더 향상될 것”이라고 설명했다.

표정을 읽는 방법이 
달라진다?

우리는 타인의 얼굴 근육 움직임을 통합적으로 분석해 아주 짧은 시간에 감정을 알아차린다. 표정을 볼 때 성인들은 코나 입보다 눈을 먼저 보는 경향이 있다는 연구결과도 있고, 문화권마다 달라서 서양에서는 입을, 동양에서는 눈을 특히 중요하게 본다는 주장도 있다(그래서인지는 모르겠지만 한국인들은 ^^ ㅠㅠ 같은 눈 모양 이모티콘을 많이 사용하는 반면 서양에서는 :-)  ;-( 등의 입 모양 이모티콘을 즐겨 쓴다). 

마스크를 썼을 땐 이런 인식 방식이 어떻게 달라질까. 에레즈 프로이트 캐나다 요크대 심리학과 교수팀은 마스크를 쓴 얼굴을 마주할 때 얼굴 인식 방식이 어떻게 달라지는지를 지난해 12월 21일 국제학술지 ‘사이언티픽 리포트’에 발표했다. doi: 10.1038/s41598-020-78986-9

연구팀은 남녀 참가자 293명을 두 그룹으로 나눠 낯선 남성 6명의 얼굴을 인식하게 했다. 한 그룹에는 마스크를 쓰지 않은 남성들의 얼굴 이미지를 제시하고, 이미지를 거꾸로 뒤집었을 때(상하·좌우 반전) 인식률이 얼마나 떨어지는지 조사했다. 다른 한 그룹에는 마스크를 쓴 남성들의 얼굴 이미지를 제시하고 마찬가지로 상하·좌우 반전 이미지의 인식 정확도를 측정했다. 

실험 결과, 마스크는 참가자들이 얼굴을 인식하는 능력을 평균 15%가량 떨어뜨렸다. 재밌는 건 마스크를 쓰지 않은 얼굴 이미지는 상하·좌우 반전시켰을 때 인식률이 상대적으로 크게 떨어진 반면, 마스크를 쓴 얼굴 이미지는 인식률이 훨씬 적게 떨어졌다. 

프로이트 교수는 과학동아와의 e메일 인터뷰에서 “마스크는 우리가 얼굴을 처리하는 방식을 변화시킨다”며 “얼굴을 인식할 땐 보통 얼굴 요소간의 공간적인 관계를 보면서 통합적으로 파악하는데, 마스크로 얼굴이 가려진 경우 이런 통합적 인식이 효율적으로 이뤄지지 않기 때문에 얼굴 요소 각각을 분석하게 된다”고 설명했다. 

이번 실험은 감정 인식이 아닌 얼굴 인식 능력의 변화를 보는 것이었지만, 감정 인식과 얼굴 인식 모두 얼굴의 특징을 잡아내 결과를 추론해낸다는 점에서 시사하는 바가 있다.

당신이 웃을 때 
그도 웃고 있다

마스크로 얼굴의 상당 부분을 가렸지만 어려움 없이 표정과 감정을 읽고 공유할 수 있는 또다른 배경에는 우리가 사람의 얼굴색, 동작, 처한 상황 등 여러 가지를 복합적으로 고려한다는 특성도 있다. 흔히 누군가의 표정을 보고 감정을 인식한다고 생각하지만, 실은 주변 정보가 감정 인식에 큰 영향을 미친다는 뜻이다. 이는 사람들이 특정한 상황에서 보편적인 감정을 느끼고, 유사한 표정으로 이를 나타내기 때문이다.

미국 버클리 캘리포니아대(UC버클리) 연구팀은 AI 딥러닝 기술 중 하나인 심층신경망(DNN) 기술을 이용해 이 같은 사실을 한 번 더 입증했다. 연구팀은 유튜브에 올라와 있는 144개국의 600만 개 동영상을 분석해 전 세계 사람들이 다양한 사회적 상황에서 16가지 보편적인 표정을 짓는다는 연구결과를 ‘네이처’ 지난해 12월 16일자에 발표했다. doi: 10.1038/s41586-020-3037-7

연구팀은 동영상에 등장하는 인물의 표정에 욕망, 흥미, 만족, 즐거움, 슬픔 등의 태그를 달았다. 그리고 인물이 처한 상황과의 상관관계를 분석했다. 그러자 공통점이 보이기 시작했다. 예를 들어 불꽃놀이를 구경하는 사람들에게선 경외하는 표정이, 무술을 선보이는 사람에게선 집중하는 표정이, 결혼식을 하는 사람에게선 만족스런 표정이, 웨이트 트레이닝을 하는 사람에게선 통증을 느끼는 표정이 나타났다.

연구팀은 지역마다 표정의 보편성이 얼마나 큰지도 살펴봤다. 남아시아 국가들과 동아시아 국가들 사이에선 표정의 보편성이 상대적으로 낮고, 미국·캐나다와 서유럽 국가들 사이의 표정 보편성은 상대적으로 높았으나 전 세계 모든 지역이 70% 이상의 보편성을 띠었다. 

연구를 이끈 앨런 코웬 UC버클리 심리학과 연구원은 과학동아와의 e메일 인터뷰에서 “전 세계에서 가장 보편적인 표정은 웃음이었다”며 “전 세계 사람들은 유머러스한 상황에서 웃는데 이는 진화에 뿌리를 두고 있다”고 설명했다.