수학에서 가장 오래된 응용 분야를 꼽으라면 그 중 하나는 암호일 것이다. 고대부터 주로 군사 및 외교적 안보를 목적으로 사용된 암호는 오늘날 전자상거래를 비롯한 디지털 정보 보안 기술의 핵심으로 자리매김했다. 특히 컴퓨터 기술이 발전하면서 기존의 암호체계를 위협하는 기술이 등장하고, 암호학자들이 그에 반격하는 과정이 되풀이되면서 디지털 산업 발전을 이끌어가는 모습은 무
척 흥미롭다.

고대 로마의 ‘대칭키 암호’

고대 로마 시대의 암호는 암호를 만드는 암호화키와 암호를 푸는 복호화키가 동일한 ‘대칭키 암호시스템’이었다. 예컨대 알파벳 순서에 따라 세 칸씩 미뤄서(+3) 문장을 암호화시키는 방식은, 같은 방식으로 되돌려 원래 문장을 찾아낼 수 있다. 이 시스템은 비밀리에 통신을 시도하는 두 사람이 같은 키(비밀키)를 공유한다는 가정과, 키를 무작위로 선택할 수 있는 경우 평문 해독이나 키 해독이 어렵다는 점을 전제로 한다.

이런 비밀키 시스템은 한두 사람이 사용할 때는 문제가 되지 않는다. 하지만 20세기 들어 통신 기술이 비약적으로 발전하면서 문제가 생겼다. 다자간 통신으로 확대 되면서 비밀키가 유출되지 않도록 관리하는 일이 어려워졌고, 사전에 비밀키를 공유하기 어려운 상황도 많았다.

미국의 암호학자 휫필드 디피와 마틴 헬먼은 이를 해결하는 새로운 암호시스템을 1976년 개발했다. 이른바 ‘공개키 암호시스템’이다. 공개키 암호시스템은 암호화키와 복호화키가 서로 다르며, 암호화키를 공개해도 복호화를 위한 개인키를 알아낼 수 없고 복호화키를 가진 사용자만이 암호문을 복호화할 수 있는 구조다.

공개키 암호시스템은 키 관리의 어려움을 해소하고 비밀키를 공유할 수 없는 환경에 있는 사용자들이 서로 안전하게 정보를 주고받을 수 있게 해 주는 매우 혁신적인 암호체계로 평가 받았다.

‘RSA’로 유명한 ‘공개키 암호’

공개키 암호시스템의 기반은 수학이다. 정확하게는 고대 그리스부터 연구된 소수이론과 정수론의 오래된 난제인 인수분해 문제와 이산대수 문제다.

디피와 헬먼은 이산대수 문제의 어려움을 이용해 공개 통신망에서도 두 사람이 서로 비밀키를 공유할 수 있는 키 공유 방법을 제안했다. 이산대수 문제란 예를 들어 10의 지수 형태로 표현되는 어떤 수에 대한 나눗셈 문제에서, 나머지와 나누는 수를 알았을 때 나눠지는 수가 10의 몇 제곱수인지를 알아내는 문제를 말한다.

가령 47로 나눴을 때 나머지가 6인 10의 제곱수는 10의 2제곱인 100이다. 이때 2는 6의 이산대수라고 말한다. 이런 문제는 비교적 쉽게 풀 수 있지만, 실제 암호시스템에서 사용하는 300자리 정도인 큰 정수의 이산대수를 찾는 일은 매우 어려운 문제다. 디피와 헬먼이 고안한 방법은 나누는 수와 나머지를 이용해서 정보를 암호화시키고, 다른 사람은 알아내기 어려운 이산대수를 비밀키로 쓰는 것이다.

이집트 출신의 미국 암호학자 태허 엘가말은 소수 형태의 제곱수를 가지는 임의의 순환군에 디피와 헬먼이 고안한 방식을 적용해 비밀통신을 동시에 할 수 있는 공개키 암호를 개발했다.

순환군
집합에 속하는 원소 하나의 거듭제곱 형태로 다른 모든 원소들이 표현되는 집합을 말한다.

또 1978년 미국의 암호학자 로널드 라이베스트, 아디 샤미르, 레오나르드 애들먼 등 3명은 큰 수를 두 소수의 곱으로 나타내는 것이 어렵다는 원리를 이용해 정수론 기반의 ‘RSA 암호’를 개발했다. RSA는 현재 가장 널리 쓰이는 공개키 암호시스템이 됐다.

공개키 암호는 연산 양이 많아 불편한 점이 있다. 대칭키 암호처럼 단순한 연산이 아니라 큰 정수연산을 사용하기 때문이다. 특히 기술이 발전하면서 컴퓨터 기반 환경에서 암호 알고리즘을 고속화시킬 필요성이 커졌다. 또 스마트폰 보급에 따라 모바일 환경에서 암호 알고리즘을 소형화시키는 문제도 중요한 화두가 됐다.

이런 문제 역시 수학으로 극복해 왔다. 타원곡선 위에 정의된 순환군을 기반으로 한 타원곡선 암호시스템이 개발된 것이다. 타원곡선 암호시스템은 현재 교통카드와 신용카드 등 빠른 연산을 필요로 하는 시스템에 쓰이고 있다.

한 걸음 더 나가서 (초)타원곡선군 위에 정의 된 겹선형함수는 삼자 간의 키공유 방식 설계에 사용됐고, ID 기반 암호를 현실적으로 가능하게 해 줬다. 겹선형함수 기반 공개키 암호는 암호학계의 주요 연구 주제로 각광받았다.

겹선형함수
두 타원곡선군의 원소들을 결합해 유한체의 한 원소를 생성하는 함수로 선형 성질을 만족한다.

이제는 여러 가지 정보를 인터넷에 연결된 중앙컴퓨터에 저장하고 처리하는 클라우드 환경이 암호시스템의 새로운 과제로 등장했고, 사물인터넷(IoT) 시대에는 암호 알고리즘의 다기능화가 필요하다. 암호의 응용 분야가 더욱 확대되고 있는 것이다.

암호기술의 응용은 최근 이슈가 되는 비트코인과 같은 암호화폐에도 적용된다. 암호화폐는 블록체인 기술을 기반으로 하는데, 블록체인 기술은 네트워크에 연결된 모든 노드(node)들, 즉 사용자가 참여하는 방식으로 안전망을 구축하고 있다. 게다가 안전망은 수학적 문제에 기반하고 있어 네트워크에서 신뢰라는 가치를 창출한다. 더불어 이 기술은 분산컴퓨팅 시스템으로 이뤄져 있어, 투명한 디지털 경제의 가치도 실현하고 있다.

암호학계 핫이슈, 블록체인과 암호화폐

앞으로 블록체인 기술의 활용 범위는 더욱 커질 것으로 보인다. 필자가 강조하고 싶은 것은, 잠재력이 어마어마한 블록체인 기술이 해시(hash)함수를 푸는 수학적 문제 해결을 기반으로 하고 있다는 점이다. 비트코인에서 각 노드(사용자)는 보상이 주어지는 새로운 블록을 먼저 만들기 위해 해시함수를 풀어야 하고, 사용자 간의 거래에는 타원곡선 기반의 서명암호가 사용된다.

제2차 세계대전 당시 독일군의 ‘로렌츠 암호’ 해독을 위해 영국에서 개발한 암호 해독 장치 ‘콜로서스’. 세계 최초의 연산 컴퓨터로 알려져 있다.

최근 주목받는 암호화폐 중 하나인 ‘Z캐시’도 ‘영(0)지식증명(zero-knowledge proof)’이라는 수학 개념을 토대로 설계돼 있다. 영지식증명은 쉽게 말해 상대방이 증명 내용의 참 또는 거짓만을 확인할 수 있게 하고 그 이상의 정보는 드러나지 않게 하는 수학 개념이다.

Z캐시는 비트코인처럼 공개적인 블록체인을 이용한 분산네트워크 상에서 거래가 이뤄지지만 차이가 있다. 비트코인은 모든 거래내용이 공개돼 있어 역추적을 하면 어떤 계좌가 어느 계좌로 얼마만큼 송금했는지 알 수 있다. 반면 영지식증명을 응용한 Z캐시는 블록체인 상에서 송금인과 수신인을 포함해 모든 거래내역을 암호화해 보호한다.

영지식증명은 네트워크 참여자 간의 ‘데이터 무결성(데이터가 변조되지 않고 원래의 데이터로 보호되고 유지되는 일)’을 보장하기 위한 암호기술과 인증기술로, 기존의 정보보호 기술과 함께 사용돼 현재의 보안 문제를 해결 할 수 있을 것으로 기대되는 기술이다.

수학적 호기심이 암호기술로 발전

최근 양자컴퓨터 개발이 활발해지며 이산대수 문제 또는 소인수분해 문제의 어려움을 이용한 타원곡선암호(ECC), 겹선형함수 기반 암호 또는 RSA 등 공개키 암호시스템의 안전성이 위협받고 있다.

1994년 피터 쇼어는 양자컴퓨터에서 작동하는 새로운 알고리즘을 제시했는데, 이 알고리즘은 RSA와 같은 공개키 기반의 암호 문제를 단지 몇 시간 안에 풀 수 있게 해 준다는 점에서 충격적이다. RSA는 현재 수준의 컴퓨터로는 암호 해독에 수십만 년이 걸리는 안전한 암호 체계다.

IBM과 마이크로소프트(MS), 구글 등 글로벌 IT 기업들이 양자컴퓨터 개발에 박차를 가하면서 국제 암호학계에는 양자컴퓨터 시대에도 안전한 새로운 암호를 개발할 필요성이 대두됐다. 미국 국립표준기술연구소(NIST)는 15년 이내에 기존 암호를 공격할 수 있는 수준의 양자컴퓨터가 개발될 것으로 예상하고, 2016년 4월 안전한 공개키 암호 알고리즘과 전자 서명, 키 교환 프로토콜 등의 기술 공모를 시작했다.

비트코인 등 암호화폐가 전 세계적으로 엄청난 주목을 받고 있다. 그 중에서도 Z캐시는 '영(0)지식증명'이라는 수학 개념을 토대로 설계돼 블록체인 상에서 송금인과 수신인을 포함해 모든 거래내역을 암호화해 보호하는 점이 특징이다.

곧 다가올 양자컴퓨터 출현에 대비한 ‘양자내성암호(PQC·Post-Quantum Cryptography)’는 기존의 이산대수나 소인수분해 문제에 기반을 두지 않는, ‘NP-hard’와 같은 새로운 수학적 어려움에 기반을 둔 암호를 대상으로 하고 있다. 아직까지 이에 대한 안전성을 위협하는 양자 알고리즘은 개발되지 않았기 때문에 양자컴퓨터에 대응할 수 있는 안전한 암호 시스템이라고 할 수 있다. 양자내성암호로는 현재 다변수기반 암호, 격자기반 암호, 코드기반 암호, 해시기반서명 등의 암호가 활발히 연구되고 있다.

국제 사회에서는 이미 양자컴퓨터 개발 뒤의 보안 취약성을 경고하면서 이에 대한 대책을 적극적으로 논의하고 있다. 우리나라도 국제적으로 가속화되고 있는 양자컴퓨터 개발에 관심을 갖고 대응할 뿐 아니라 양자내성암호 기술 개발도 적극 지원해 학계와 정부, 민간이 함께 보안을 갖춘 안전한 미래사회를 대비해야 할 것이다.

잊지 말아야 할 것은 목적을 정해두지 않고 순수한 지적 호기심이나 지식 탐구를 위해 시작된 수학 연구들이 결과적으로 암호 및 보안 산업 등을 발전시키는 데 활용됐다는 점이다.

가령 최근 주목받고 있는 동형암호의 토대인 격자기반 암호는 19세기부터 정수론이나 결정학 분야에서 주로 연구된 격자이론에서 출발했다. 처음부터 암호를 염두에 두고 시작한 연구가 아니었다. 순수한 호기심을 발전시켜오지 못했다면 동형암호는 등장하지 못했을 것이다. 수학, 나아가 기초연구를 지원해야 하는 이유가 여기에 있다.

이향숙_hsl@ewha.ac.kr
미국 노스웨스턴대에서 박사학위를 받았다. 현재 이화여대 수학과 교수로 재직 중이며 제24대 대한수학회장을 맡고 있다. 오랫동안 공개키 암호를 연구해 왔으며 최근에는 양자내성암호(PQC)에 관심을 가지고 연구 중이다.

▼관련기사를 계속 보시려면?

Intro. 암호기술 혁명, 동형암호

Part 1. 현존 가장 안전한 보안기술

[INFOGRAPHIC] 암호기술 변천사

Part 2. 산업계 지켜줄 첨단 파수꾼

Part 3. 개인정보보호법 갈등 해결사

Part 4. 미래 산업의 열쇠, 암호