가장 먼저 다룰 수학자는 ‘페르마의 마지막 정리’로 유명한 프랑스 수학자 피에르 드 페르마다. ‘정수론의 창시자가 피타고라스라면 정수론을 학문의 경지로 끌어올린 사람은 페르마’라는 말이 있을 만큼, 페르마는 현대 정수론의 선구자로 불린다. 미분이라는 개념을 거의 처음 쓴 사람도 페르마다. 그는 프랑스 수학자 블레즈 파스칼과 편지를 주고받으며 확률에 관한 이야기를 나눴는데, 사람들은 이를 확률론의 효시로 보고 있다. 이렇게 대단한 페르마는 평생 얼마나 많은 논문을 썼을까.
놀랍게도 정답은 ‘1’. 단 한 편이다. 수학 연구는 변호사이자 지방 의원이었던 페르마의 취미 생활이었다. 페르마의 수학 능력은 아주 뛰어났지만, 논문 쓰는 것을 좋아하지 않았고 주로 편지에만 수학 내용을 남겼다. 페르마는 틈틈이 생각나는 것을 공책이나 책 귀퉁이에 낙서처럼 썼다. 그리고 친구들과 편지를 주고받으며 자신의 발견을 알렸다. 그런 짤막한 내용이 수학 발전에 큰 영향을 끼쳤다. 페르마의 아들이 아버지가 남긴 편지와 쪽지를 모아 1679년에 책을 만든 덕분에 그의 업적이 오늘날까지 전해질 수 있었다.
문제는 페르마가 종이에 남긴 추측을 증명하지 않았다는 점이다. 그래서 혹자는 페르마가 수학적 아이디어를 떠올린 뒤 증명을 하지 못해서 수학적 결과를 발표할 수 없었던 것이라고 짐작한다. 진실은 알 수 없지만, 페르마가 남긴 업적이 상당해 그의 수학적 능력을 부정할 수 없는 것 또한 사실이다. 특히 페르마가 정수론에 관해 연구한 내용은 스위스의 또 다른 명성 높은 수학자 레온하르트 오일러가 연구하기 시작하면서 주목받기 시작했다.
소수가 되는 필요조건
페르마는 소수에 관해 여러 연구를 했는데, 가장 잘 알려진 건 ‘페르마의 소정리’다. 그런데 이 역시 정확한 증명을 적지 않았다.
페르마의 소정리를 간단히 말하면 a가 자연수고, p가 소수일 때 ap-1은 p의 배수라는 것이다. 이 정리는 17세기 독일의 수학자 고트프리트 라이프니츠와 오일러가 독립적으로 증명했다. 이 정리는 어떤 수가 소수일 필요조건이라고 할 수 있다.
재밌게도 소수가 아닌데, 페르마의 소정리를 만족하는 수가 있다. ‘카마이클 수’로, 1910년 미국 수학자 로버트 다니엘 카마이클이 처음으로 카마이클 수의 최솟값이 561이라는 것을 알아내 그의 이름이 붙었다.
이런 카마이클 수와 같은 유사소수 때문에 페르마의 소정리를 이용해 어떤 수가 소수인지 아닌지 판정할 수 없다. 소수가 아닌 수도 페르마의 소정리를 만족하기 때문이다. 유사소수란 소수의 특성을 가졌지만, 소수는 아닌 수를 말한다.
단, 페르마의 소정리를 이용해 소수가 될 수 있는 수를 추린 다음 이 후보들에 다른 소수 판별법을 적용할 수 있다.
놀랍게도 페르마의 소정리는 수학뿐 아니라 우리 생활에도 아주 중요하다. 인터넷과 신용카드 등에 쓰이는 ‘RSA 암호’에 그 원리가 녹아들어 있기 때문이다. 암호에 관해서는 Chapter 5에서 자세히 알아본다.
