평면도형을 겹치지 않게 빈틈없이 이어 붙여서 평면 전체를 다 덮는 것을 ‘테셀레이션’이라고 합니다. 예를 들어 직사각형을 바둑판처럼 이어 붙이면 평면을 빈틈없이 가득 채울 수 있지요. 벌집처럼 정육각형을 이어 붙여도 됩니다.
테셀레이션은 일상생활에서도 쉽게 찾아 볼 수 있는데요, 보도블록과 화장실 타일, 벽지를 보면 같은 한두 가지 무늬가 평면을 가득 메우고 있습니다. 네덜란드 판화가 마우리츠 코르넬리스 에스허르는 테셀레이션 기법을 이용해 판화 작품을 만들기도 했지요.
그렇다면 똑같이 생긴 도형 하나만 이용해서 만들 수 있는 테셀레이션에는 어떤 것이 있을까요? 그 모양이 정다각형이고, 이웃한 정다각형끼리는 변을 무조건 맞대야 한다면 다음 3가지(그림 ➊~➌) 경우 밖에 없습니다. 이런 조건이 없다면 정삼각형 6개를 묶어 아래 그림 ➍번처럼 오각형 무늬로 테셀레이션할 수 있지요.
볼록오각형으로 면을 채워라!
그러고 보니 정삼각형과 정사각형, 정육각형 테셀레이션 사이에 정오각형은 없습니다. 정오각형은 테셀레이션이 왜 안 될까요? 한 내각의 크기가 108°로 360°의 약수가 아니기 때문입니다. 정오각형 여러 개를 어떻게 이어 붙여도 360°를 만들 수 없어 평면에 빈틈이 생기지요.
하지만 내각의 크기를 적절히 바꾼 오각형으로는 테셀레이션할 수 있습니다. 왼쪽 그림 ➍번처럼 내각의 크기가 180° 이상인 것을 허용하면 쉽게 테셀레이션할 수 있습니다. 그러니 여기서는 모든 내각의 크기가 180°보다 작은 볼록오각형만 고려합시다. 볼록오각형을 대체 어떤 모양으로 만들어야 테셀레이션이 가능할까요?
1918년 독일의 수학자 칼 라인하르트는 박사 학위 논문에서 처음으로 볼록오각형으로 테셀레이션할 수 있는 방법을 소개했습니다. 총 5가지 방법을 공개했는데, 이게 전부인지는 알 수 없다며 몇 개가 더 있는지를 미해결 문제로 남겨두었지요. 하지만 볼록육각형일 때는 가능한 무늬가 3가지밖에 없다고 증명했습니다.
볼록오각형 테셀레이션 문제는 50년 동안 진전이 없다가, 1968년 미국 존스홉킨스대학교 응용물리연구소의 리처드 커쉬너 박사가 추가로 3가지 방법을 찾아냅니다. 커쉬너 박사는 순수 수학으로 박사 학위를 받았지만, 1950년대 말부터 응용물리연구소에서 일하면서 미국이 개발한 세계 최초의 위성항법시스템(NNSS)의 개발 책임자로 일했습니다.
커쉬너 박사는 본인이 찾은 3가지까지 합쳐서 총 8가지가 볼록오각형으로 테셀레이션할 수 있는 방법의 전부라고 주장하며 이를 정리로 만들었습니다. 그 증명은 다 쓰자면 책 한 권이 나와야 하므로 생략한다고 적었지요.
이 소식은 미국의 유명한 퍼즐 연구자인 마틴 가드너가 미국 과학잡지 ‘사이언티픽 아메리칸’ 1975년 7월호 ‘수학 칼럼’이라는 연재 코너에 소개하면서 널리 알려졌습니다. 놀랍게도 그토록 진전이 없던 연구가 가드너의 기사 뒤 아마추어 연구자에 의해 가속이 붙었습니다. 문제의 답 중 1가지는 미국 캘리포니아에 살던 전산학자인 리처드 제임스 3세가 찾았고, 다른 4가지는 역시 캘리포니아에 살던 가정주부 마저리 라이스가 발견했습니다.
가정주부, 독학으로 수학 문제 풀다!
1923년에 태어난 라이스는 가정 형편 때문에 대학을 갈 생각은 하지도 못하고 고등학교만 졸업한 뒤 1945년 결혼해 살고 있었습니다. 아이들이 학교에 가고 나면 아이들이 즐겨보던 사이언티픽 아메리칸을 보며 시간을 보냈지요. 그러던 어느 날 가드너가 쓴 글을 읽고 볼록오각형 테셀레이션 문제에 흥미를 느꼈습니다. 몇 달간 혼자 연구한 끝에 새로운 무늬 4가지를 찾았지요. 라이스는 이 결과가 맞는지 알아보기 위해 가드너에게 편지를 보냈고, 가드너는 이 분야 전문가인 미국 수학자 도리스 샤츠슈나이어에게 그 내용을 보내 검증했습니다.
독학으로 문제를 해결했다니 놀랍죠? 라이스는 본인이 발견한 무늬를 이용해 에스허르처럼 그림을 그리기도 했습니다. 그 중 하나는 미국 수학협회 로비 바닥에 새겨져 있습니다. 안타깝게도 볼록오각형 테셀레이션 문제가 완전히 해결되는 걸 보지 못하고 2017년 7월 2일 94세 나이로 세상을 떠났습니다.
라이스의 발견 이후 1985년 롤프 스타인이 14번째 무늬를 찾았고, 2015년 10월 워싱턴대학교의 케이시 만 교수와 제니퍼 맥루드 교수, 대학생이던 데이비드 폰 데라우가 컴퓨터를 이용해 15번째 무늬를 발견했습니다. 하지만 최근까지도 15가지 방법이 전부인지를 알지 못했습니다.
그런데 2017년 7월, 프랑스 국립연구소의 미카엘 라오 박사가 볼록오각형을 테셀레이션하는 방법은 오직 15가지뿐이라는 걸 증명했다고 밝혔습니다. 증명은 라이스가 고안한 아이디어에서 시작해 모든 가능한 경우를 다 조사하는 식으로 이뤄졌습니다. 약 5000줄 정도의 C++ 프로그램을 만들어서 컴퓨터로 증명했지요. 컴퓨터의 도움을 받지 않고 이 증명을 할 수 있는지는 아직 모릅니다. 더 쉬운 문제긴 하지만, 왜 이런 무늬의 수가 유한 개뿐인지를 간단하게 증명할 수 있는지도 흥미로운 미해결 문제입니다.
볼록오각형 테셀레이션 문제는 아마추어 수학자의 기여로 재밌는 연구 결과가 나온 흥미로운 사례입니다. 수학동아 독자들도 언제가 이런 기여를 할 수 있으면 참 좋겠습니다.