▲데미안 스텔레 프랑스 리옹 고등사범학교 전산학과 교수
“우리 팀이 만든 크리스탈 카이버(CRYSTALS-Kyber)와 크리스탈 딜리슘(CRYSTALS-Dilithium)이 양자내성암호 알고리즘에 중요한 보안, 효율성, 구현 용이성 세 가지 측면에서 최선의 알고리즘은 아닐 겁니다. 하지만 전체적으로 좋은 알고리즘이에요. 그런 이유에서 뽑히지 않았을까요?”
데미안 스텔레 프랑스 리옹 고등사범학교 교수는 양자내성암호 표준 초안으로 선정된 것을 축하한다는 기자의 말에 이 같이 답했다. 미래 양자위협에 대응하는 대단한 성과를 냈음에도 그는 내내 겸손했다.
기존의 암호를 대체할 양자내성암호
(*양자내성암호 (Post Quantum Cryptography) 양자컴퓨팅 환경에서 해독 위협에 대응하는 새로운 공개키 암호)
암호는 풀기 어려운 수학 문제를 만드는 것에서 시작한다. 하지만 그 문제에도 조건이 있다. 쉽게 풀 수는 없지만 정답을 확인하기는 쉬워야 하고(보안), 문제를 내는 것이 너무 어려우면 안된다(구현 용이성). 마지막으로 그 문제의 생김새가 단순해 다른 사람에게 전달하기 편해야 한다(효율성). 이 세 가지를 만족하는 수학 문제를 찾는 것은 매우 어렵다.
양자컴퓨팅 기술로부터 위협을 받는 암호는 소인수분해를 활용한 RSA 암호이다. RSA 암호는 두 소수의 곱을 소인수분해하는 문제다. 이 문제가 암호로 사용된 이유는 일련의 숫자만으로 문제 전달이 가능하고(효율성) 문제를 풀기 위해서는 1부터 하나씩 나눠봐야 해서 컴퓨터가 쉽게 풀 수 없다(보안). 또 소수 2개만 알고 있다면 쉽게 어려운 문제를 낼 수 있다(구현 용이성)는 장점도 있다. RSA 암호는 현재 전 세계 대부분의 인터넷뱅킹에서 사용할 만큼 널리 쓰인다. 하지만 막대한 양의 계산이 가능한 양자컴퓨터의 등장으로 RSA 암호가 손쉽게 풀릴 위기에 처했다. 아직까지는 양자컴퓨터가 현재의 암호를 깨지 못하지만, 기술이 더 발전하면 상황이 달라질 수 있다.
스텔레 교수는 “지금까지의 (보안) 기술과 컴퓨터 프로그램 인프라는 과거의 암호체계에 맞춰져 있기 때문에, 새로운 암호체계로 바꾸기 위해서는 꽤 많은 시간과 노력이 필요할 것”이라며 “때문에 지금 (양자내성암호 개발) 작업을 하는 것이 중요하다”고 말했다.
1000차원 이상의 격자 기반 알고리즘
그렇다면 스텔레 교수가 개발한 양자내성암호 알고리즘은 무엇일까? 그가 개발한 알고리즘은 최근 암호계에서 각광받는 격자 기반의 알고리즘이다(그래서 이름에도 ‘크리스탈스’가 붙었다).
모눈종이 격자를 떠올려보자. 그리고 그 격자를 살짝 틀어 마름모 모양의 격자를 상상해보자. 그 격자 위에 임의의 점 a를 찍었을 때 그 점이 주변의 b1, b2, b3, b4의 어떤 격자점과 가장 가까운지를 구하는 수학 문제다.
2차원의 격자를 상상한다면 계산해볼 법하지만 수학은 차원을 높이는 것을 좋아한다. 스텔레 교수는 “크리스탈스 카이버와 딜리슘의 경우 1000차원 이상의 격자에서 문제를 풀어야 한다”고 설명했다. 가까운 격자 점을 찾는 문제는 다항식으로 표현해 계산하는 ‘LWE 문제(에러가 포함된 선형결합을 균일한 랜덤 벡터로부터 구별하는 문제)’로 바꿔 계산한다. 그러나 이 경우엔 방정식에 포함된 데이터가 너무 커 계산하는 시간과 정보를 주고 받는 시간이 너무 오래 걸린다.
스텔레 교수의 크리스탈스 카이버와 딜리슘은 일반적인 LWE 문제의 많은 데이터를 하나씩 묶어 계산할 수 있는 모듈-LWE를 적용해 이 점을 개선했다. 그는 “2014년에 모듈 LWE를 활용한 연구를 발표했을 당시에는 이 연구가 그다지 중요하게 여겨지지 않았다”며 “모듈-LWE를 활용하면 계산량을 크게 줄여 복잡한 암호도 빠르게 전달할 수 있다”고 설명했다.
우연한 기회로 시작한 암호 연구
스텔레 교수가 처음부터 암호를 연구하는 수학자는 아니었다. 프랑스 앙리 푸앵카레대에서 전산학으로 석사와 박사 과정을 밟던 시절 격자 기반 알고리즘에 관심이 생겨 10년 동안 한 우물을 팠지만, 그때까지도 암호 연구는 하지 않았다. 그런 그가 오늘날 암호학 분야의 석학이 된 건 작은 인연 덕이다.
“2008년 호주 맥쿼리대에서 연구원으로 일하던 시절 론 스타인펠드 연구원(현 모나쉬대 교수)을 만났어요. 그는 암호를 연구하지만 격자 기반 알고리즘을 연구하지 않는 사람이었고, 저는 암호는 연구하지 않지만 격자 기반 알고리즘을 연구하는 사람이었죠. 당시 격자 기반의 암호화가 한창 연구되던 시기였고 우리의 만남은 큰 시너지 효과를 발휘했어요. 그와 함께 쓴 논문이 14편 정도 되죠.”
스타인펠드 연구원을 만난 이후 스텔레 교수는 주력 분야를 격자 기반 암호학으로 전환했다. 그렇게 15년을 몰두해 양자내성암호의 기반이 되는 알고리즘을 만들어낼 수 있었다. 그와 오랫동안 연구를 함께 해온 천정희 서울대 수리과학부 교수는 “스텔레 교수는 현재 양자내성암호 알고리즘 분야
에서 손에 꼽히는 전문가”라며 “프랑스에서 가장 많은 필즈상을 배출한 고등사범학교 교수라는 게 방증”이라고 말했다.
실생활에 활용되는 양자내성암호를 위해
“지금까지 우리 팀이 만든 것들은 양자내성암호를 개발하기 위한 아주 기본적인 것들입니다. 이 암호가 실생활에 사용되기 위해선 더 많은 도구들이 필요합니다. 앞으로 이 도구들에 대한 연구를 계속할 계획입니다.”
스텔레 교수는 2023년 천 교수가 세운 한국의 동형암호 기술 스타트업인 크립토랩(CRYPTOLAB)에 연구 리더(Chief Scientist) 역할로 합류했다. 다양한 국가에서 암호체계 구축을 위해 그에게 러브콜을 보내고 있지만, 그 가운데 크립토랩을 선택한 것이다. 이유를 묻자 “암호를 실생활로 가져오기 위해 필요한 고급 기술인 동형암호를 연구하고 싶어서”라고 답했다. 그는 예를 들어 쉽게 설명했다.
“프랑스가 개인의 의료 정보를 모아서 복지정책을 기획한다고 가정해봅시다. 의도는 매우 좋지만 개인들은 자신의 의료 정보가 정부에 공개되는 걸 원치 않을 수 있죠. 이때 동형암호는 개인의 의료 정보를 암호화된 상태로 처리할 수 있는 기술입니다. 개인정보를 활용할 일이 많은 산업계에서 꼭 필요한 기술이죠.”
스텔레 교수는 동형암호를 이용해 양자내성암호를 현실에 구현하는 것이 궁극적인 목표라고 강조했다. 그는 “2010년에 동형암호를 연구했는데, 연구의 규모가 커질수록 큰 연구 그룹과 실험에 필요한 인프라의 필요성을 느꼈다”며 “많은 연구자들이 모인 크립토랩의 프랑스 지사를 이끌며 동형암호에 대한 연구를 이어나갈 예정”이라고 밝혔다. 그는 또 “앞으로 암호체계의 변화에서 가장 중요한 것은 보안 수준만 높이고, 최종 사용자에겐 큰 영향을 미치지 않는 것”이라며 “탄탄한 수학을 기반으로 사용자들이 불편함 없이 사용할 수 있는 강력한 양자내성암호 체계를 만드는 데 기여하고 싶다”고 덧붙였다.