중학생 때 참가했던 교육부 주최 전국수학과학경시대회에 다음과 같은 문제가 출제됐습니다.
어느 세 점도 한 직선 위에 있지 않은 5개의 점이 있다. 이 중 점 4개를 잘 고르면 볼록사각형이 됨을 증명하여라.
사실 그때는 볼록사각형이라는 말뜻을 거꾸로 알고 있어서 풀지 못했습니다. ‘볼록사각형’은 어느 꼭짓점도 다른 세 개 꼭짓점으로 이뤄진 삼각형 안에 들어가지 않는 사각형입니다. 직사각형, 마름모, 사다리꼴 등 우리가 흔히 사각형이라고 부르는 도형이 모두 볼록사각형이지요. 반대로 화살촉처럼 한쪽이 움푹 파인 사각형을 ‘오목사각형’이라고 부릅니다.
더 일반적으로 말해 볼까요? 평면 위의 꼭짓점 n개로 만들어진 n각형에서 꼭짓점 세 개를 아무렇게나 골라 삼각형을 만듭니다. 그 안에 꼭짓점이 하나도 없으면 ‘볼록n각형’이라고 부릅니다.
이제 다시 경시대회 문제로 돌아가 보죠. 이 문제는 생각보다 쉽게 풀 수 있습니다. 점 5개를 모두 포함하는 가장 작은 볼록다각형을 ‘볼록포’라고 합니다. 만약 볼록포가 오각형이면 단지 점 4개를 아무렇게나 뽑으면 됩니다. 사각형일 때는 안쪽에 있는 점만 고르지 않으면 되지요. 볼록포가 삼각형일때는 삼각형 안에 있는 두 점을 직선으로 연결한 다음 직선의 한쪽에 있는 삼각형의 두 꼭짓점과 연결해 사각형을 만들면 됩니다. 이렇게 만들어진 사각형은 반드시 볼록사각형이 되지요.
사랑의 큐피드가 된 볼록n각형 문제
사실 이 문제는 꽤나 유명합니다. 문제를 낸 사람과 문제를 수학적으로 일반화한 사람이 만나 결혼했기 때문인데요. 그래서 ‘해피 엔딩 문제’라고 부릅니다.
해피 엔딩의 주인공은 세케레시 죄르지라는 헝가리 수학자입니다. 그는 어렸을 적부터 수학을 좋아했지만 아버지가 하는 가죽 사업을 이어받기 위해 헝가리 부다페스트공대 화학공학과에 진학했습니다. 하지만 여전히 수학을 좋아했고, 수학을 좋아하는 사람과 어울렸습니다. 그 모임에서 클레인 에스테르라는 유태인 여학생을 만났지요. 이 여학생이 해피 엔딩 문제를 소개한 장본인입니다.
세케레시와 헝가리의 수학자 에르되시 팔은 머리를 맞대고 이 문제를 일반화했습니다. 그리고 1935년 논문으로 발표했지요.
2년 뒤 두 사람은 결혼했습니다. 참고로 부부가 된 세케레시와 클레인은 1939년 제2차 세계대전 당시 유태인 탄압이 심해지자 중국 상하이로 이주했습니다. 세케레시는 가죽 관련 화학 공장에서 일했지만, 중국도 전쟁에 휘말리면서 생활고를 겪었지요.
다행히 뛰어난 수학 실력 덕분에 호주로 이주할 수 있었습니다. 1948년 호주 애들레이드대가 세케레시에게 수학과 강사 자리를 제안했던 겁니다. 세케레시가 대학에서 수학 수업을 들은 건 미적분학이 다였지만, 수학에 대한 관심이 많아 여러 편의 논문을 썼거든요. 에르되시와 함께 쓴 논문도 여기에 해당하지요. 1970년대에는 호주수학회 회장으로도 활동했습니다.
세케레시와 에르되시가 발표한 1935년 논문은 램지 이론★과 조합 기하★ 분야의 시작이 되는 중요한 연구입니다. 논문에는 다음과 같은 정리가 증명돼 있습니다.
[램지 이론★ 꼭짓점의 크기가 충분히 큰 그래프에는 특정한 조건을 만족하는 부분 그래프가 반드시 있다는 이론. 조합 기하★ 유한 개의 점과 선 등으로 이뤄진 도형에서 나타나는 성질을 연구하는 학문.]
각 n에 대해 다음 조건을 만족하는 최솟값을 주는 함수 N(n)이 있다. 평면 위의 어느 세 점도 일직선 위에 있지 않은 점이 N(n)개 이상 있다면 그 중 n개의 점을 잘 고르면 볼록n각형의 꼭짓점을 이룬다.
애초에 클레인이 제기한 문제는 N(4)≥5라 것을 증명하는 것이었습니다. 왼쪽 그림처럼 점 4개가 있다면 볼록사각형이 그려지지 않기 때문에 N(4)≠4이지요. 따라서 N(4)=5가 됩니다.
볼록n각형을 이루는 점 n개가 없도록 점 2 n-2개를 잘 놓을 수 있다는 것은 이미 밝혀졌기 때문에 만일 이 질문 답이 예라면 N(n)= 2n-2+1이 되는 것이지요.
해피 엔딩 문제의 실마리, 한국계 수학자가 찾다
하지만 이 문제는 80년 동안 풀리지 않았습니다. 그러다 최근 미국 일리노이대 수학과 앤드루 석 교수가 답에 매우 가까운 결과를 내놓았습니다. 지난 4월 논문이 인터넷에 올라오자 이 분야 수학자들이 모두 깜짝 놀랐습니다. 기존의 결과보다 답에 훨씬 가까워진데다가 이미 알려진 방법을 이용해서 기발하게 답을 얻었기 때문입니다.
이번에 증명된 부등식은 다음과 같습니다.
지난 5월 말 KAIST 수리과학과에서는 안드레아스 홈름센 교수가 석 교수의 증명을 소개하는 세미나를 했습니다. 기발한 아이디어로 이미 알려진 사실을 잘 결합해 톱니바퀴가 맞물려 돌아가듯 증명이 마무리되니 강연을 듣던 학생들이 경탄하는 소리를 여러 번 냈지요. (홈름센 교수의 강연은 위쪽 QR 코드를 스마트폰으로 읽어 확인하세요!)
앞으로 해피 엔딩 문제에 더 좋은 결말이 나올 수 있을까요? 다음에는 어떤 아이디어로 추측에 더 가까운 결과를 얻어낼지 궁금해집니다.
