메르센은 1588년에 태어난 프랑스 신학자이자 수학자다. 어렸을 때부터 그는 종교와 철학에 관심이 많았고, 대학에서 철학과 신학 공부를 마친 뒤 1611년 미니미 수도회에 입회했다. 1620년 파리의 로얄 광장 수도원 원장으로 선출돼 평생 이곳에서 살았다.
어쩌면 무료할 수 있는 수도원 생활에서 메르센은 다양한 분야를 연구했다. 그중 하나는 음악인데, 옥타브를 똑같은 비율로 나누는 음률인 ‘평균율’에 관한 이론서를 집필해 오늘날 ‘음향학의 아버지’라는 별칭도 갖고 있다.
메르센은 수도원 살롱에 많은 연구자를 초대해 적극적으로 교류했다. 르네 데카르트, 갈릴레오 갈릴레이, 에반젤리스타 토리첼리 등 당대의 유명한 학자들 사이에 다리를 놓아줬다. 그때 지동설을 지지해 곤란했던 갈릴레오를 높이 평가했다. 그와 편지를 주고받으며, 계속 학문적으로 교류했고 그의 책을 프랑스어로 번역하기도 했다.
메르센이 수도원 살롱에서 주최한 교류의 장은 계속 이어졌고, 1666년 루이 14세의 인가를 얻어 ‘파리 과학 아카데미’로 발전했다. 이 아카데미는 학자들이 종교의 영향에서 벗어나 자유롭게 학문을 할 수 있는 환경을 만들었고, 이후 프랑스 과학 발달에 큰 역할을 했었다. 또한 살롱에서 정보 교류의 일환으로 소책자를 만들었는데, 이 책자를 오늘날 ‘사이언스지’, ‘네이처’ 같은 과학 학술지의 시작으로 볼 수 있다.
수학에도 심취한 그가 가장 열중한 대상이 있었으니, 바로 소수다. 소수에 흠뻑 빠진 메르센은 모든 소수를 나타낼 수 있는 수학 공식을 찾으려고 노력했지만, 찾지 못하고 일정한 형태를 가진 소수를 깊게 연구한다. 연구 과정에서 n이 1보다 큰 자연수일 때 Mn = 2n - 1인 수에 소수가 유독 많다는 사실을 발견했다. 이 형태의 수를 훗날 ‘메르센 수’라고 부른다.
먼저 메르센은 2n - 1 이 모두 소수일지도 모른다고 생각했다. 무작위로 골랐을 때 비슷한 크기의 다른 홀수보다 소수일 가능성이 훨씬 더 컸다.
하지만 메르센은 곧 이 생각이 틀렸다는 것을 알게 된다. 머지않아 n이 소수일 때 메르센 수가 모두 소수가 된다고 생각했다.
훗날 사람들은 메르센 수 중 소수인 수를 ‘메르센 소수’라고 이름 붙인다. 그런데 메르센은 n이 11일 때는 211 - 1 = 2047이고, 2047은 23 × 89 로 소인수분해가 된다는 것을 알게 된다. 소수의 규칙은 쉽게 찾아지지 않았다.
메르센은 n이 257과 같거나 작을 때, 즉 n = 2, 3, 5, 7, 13, 17, 19, 31, 67, 127, 257일 때만 소수라고 생각하기도 했다.
하지만 이것 또한 틀린 것으로 결론이 났다. n이 67 또는 n이 257일 때 소수가 아님이 밝혀진 것이다. 게다가 메르센의 소수 목록에서 빠져 있던 M61, M89, M107이 소수라는 게 레온하르트 오일러를 비롯한 여러 수학자에 의해 밝혀졌다.
n이 67인 메르센 수 267 - 1 이 소수가 아니란 사실을 밝힌 일화는 수학계에서 유명하다. 이 수가 소수가 아니라는 사실은 이미 밝혀졌지만, 어떤 수학자도 이 수의 소인수를 모두 알아내지 못했다.
그러던 1903년에 미국 수학자 프랭크 넬슨 콜이 미국수학회 강연에서 한마디 말도 없이 칠판으로 다가갔다. 그러더니 193707721 × 761838257287 을 계산해 267 -1 과 똑같다는 사실을 보인 뒤 자리로 돌아왔다. 청중들은 기립박수를 보냈고, 이 문제를 푸는 데 얼마나 걸렸는지 물었다. 그러자 그는 “3년 치 일요일”이라고 답했다.
