1637년 프랑스의 수학자 피에르 드 페르마가 제기한 ‘페르마의 마지막 정리’는 무려 358년이 지나 풀렸습니다. 이 증명은 가장 어려운 수학 문제로 기네스북에 등재돼 있으며, 20세기 수학계 최고의 성과로 꼽힙니다. 하지만 역설 나라에서는 페르마의 마지막 정리가 거짓일 수도 있다고 하는데요, 왜일까요?
페르마의 마지막 정리는 n이 3 이상의 정수일 때 xn+yn=zn을 만족하는 양의 정수 x, y, z는 존재하지 않는다는 정리입니다. 이 정리는 17세기의 수학자 피에르 드 페르마가 처음 제기한 이후 358년 동안 증명되지 않다가 1994년 앤드루 와일스 영국 옥스퍼드대학교 교수에 의해서 증명됐습니다.
그런데 2022년 2월에 수학계를 뒤흔든 엄청난 사건이 일어났습니다. 페르마의 마지막 정리의 반례가 발견된 것이죠!
네, 시답잖은 장난은 빠르게 그만두도록 할게요. 사실 위의 반례는 근사한 눈속임에 불과합니다. 좌변과 우변의 값이 꽤 비슷하긴 하지만 같지 않지요. 위 식은 <;수학 홀릭 페르마의 마지막 정리>;라는 책의 에필로그에서 등장하는 장난인데, 어렸을 때 이 책을 재미있게 읽었기 때문에 가져와 봤습니다.
그런데 만약 페르마의 마지막 정리의 반례가 ‘정말로’ 발견됐다는 소식이 인터넷에 도배된다면 어떨까요? 애초에 그런 일이 가능할까요?
모순적인 수학 체계란?
페르마의 마지막 정리가 증명됐음에도 반례를 발견할 확률은 매우 낮긴 하지만 있습니다. 만약 와일스 교수의 증명에 아무런 문제가 없는데 페르마의 마지막 정리의 반례 또한 존재한다면, 이것은 지금의 ‘수학 체계가 모순적’이라는 의미입니다. 모순적인 수학 체계란 참과 거짓이 둘 다 증명되는 명제가 존재하는 수학 체계입니다. 예를 들어 ‘1+1=2’를 증명할 수 있는데, ‘1+1≠2’도 증명할 수 있는 수학 체계는 모순적입니다.
여기서 자연스럽게 떠오르는 의문이 있습니다. 우리가 현재 사용하고 있는 수학 체계는 모순적일까요? 여러분의 생각이 어떨지는 모르겠지만, 독일 수학자 다비트 힐베르트는 그럴 리가 없다고 믿었습니다. 그래서 20세기 초 일명 ‘힐베르트 프로그램’을 계획해 동료 수학자들과 함께 현 수학 체계가 모순적이지 않다는 사실을 증명하고자 했습니다.
그러나 1931년 오스트리아 수학자 쿠르트 괴델은 ‘불완전성 정리’라는 충격적인 내용을 발표합니다. 불완전성 정리에 따르면, 하나의 특정 수학 체계가 스스로 모순적이지 않음을 증명하는 것은 불가능합니다. 우리가 사용하고 있는 수학 체계를 포함해 모든 수학 체계는 모순의 가능성을 항상 지니고 있습니다. 이것이 앞서 제가 페르마의 마지막 정리가 증명됐지만, 반례를 발견할 확률이 있다고 말한 이유입니다.
‘유니콘은 존재한다’의 증명
만약에 현 수학 체계가 모순적이라면 끔찍한 결과가 생깁니다. 모순적인 수학 체계에서는 모든 명제를 증명하는 것이 가능하기 때문입니다. 그 예로 ‘페르마의 마지막 정리는 참이다’와 ‘페르마의 마지막 정리는 거짓이다’가 둘 다 증명 가능하다는 가정 아래 ‘유니콘은 존재한다’를 증명해 보겠습니다.
이처럼 하나의 모순으로부터 모든 명제가 증명돼 버리는 현상을 ‘폭발 원리’라고 부릅니다. 이런 점에서 모순은 마치 순식간에 전 세계를 감염시킬 수 있는 초강력 바이러스와 비슷합니다. 이 때문에 정상적인 수학 체계는 단 하나의 모순도 용납할 수 없습니다. 어떤 수학 체계 안에서 모순이 발견됐다면 그 수학 체계는 즉시 폐기돼야 합니다.
실제로 수학에 모순이 발견된 적이 있었다!
물론 현 수학 체계가 모순적일 확률은 극히 낮습니다. 하지만 그렇다고 마냥 안심할 수는 없습니다. 실제로 1901년에 수학 체계에서 ‘러셀의 역설’이라는 모순이 발견된 사례가 있기 때문입니다. 러셀의 역설에 수학자들은 당혹스러움을 감추지 못했고, 러셀의 역설을 없애기 위해 기존의 수학 체계에 대대적인 수정을 가했습니다. 이런 일이 미래에 다시 일어나지 않을 거라는 보장은 없지요.
