d라이브러리

문장을 쪼개서 번역했던 구글
영어를 제대로 해석하려면 문장 전체를 읽고 의미를 파악해야 한다. 반면 예전의 구글 번역은 문장을 구 단위로 쪼개 해석했다. 이를 ‘구문기반 통계번역’이라 부른다.

한국어 문장을 영어로 바꾼다고 하자. 먼저 명사구, 부사구, 동사구로 쪼갠 뒤 번역 후보를 줄 세우고 확률을 계산한다. 쌓인 번역 데이터로 통계를 낸 결과 10번 중 8번은 첫번째 구를 ‘Su-rang who likes a boat’로, 2번은 ‘Surang who likes pears’라고 번역했다면 확률은 각각 80%, 20%다. 다음으로 구마다 후보를 하나씩 뽑아 조합할 확률도 구한다. 각 구의 번역 확률과 조합 확률을 모두 계산해 최종적으로 확률이 높은 문장을 선택한다.

여기에서 ‘배’를 ‘pears’대신 ‘boat’로 번역할 위험이 생긴다. ‘boat’로 번역한 확률이 너무 크면 ‘fork’와의 관계를 충분히 고려하지 못하기 때문이다. 구의 위치를 조정할 때도 문제가 생긴다. 한국어와 일본어처럼 문장 구조가 같으면 번역이 잘 되지만, 한국어와 영어처럼 문장 구조가 다르면 오류가 생기기 쉽다. 구글이 바보같은 결과를 내놓았던 이유다.