최초의 기계식 또는 전자식 계산기의 용도는 암호문작성과 해독에 관한 것이었다. 제2차세계대전은 암호기술을 눈부시게 발전시켰고, 그 기술에 따라 승패의 명암이 갈라졌는데···
근착 '타임'지 표지에는 일본군의 공습으로 인해 화염에 싸인 진주만의 모습이 담겨 있다. 표지 제목은 '치욕의 날'(Day of Infamy)이라는 당시 대통령 루스벨트의 말을 인용했다. 진주만기습을 계기로 미국은 태평양전쟁에 뛰어들었다.
제2차 세계대전의 방향이 바뀌게 된 데에는 암호의 역할이 컸다. 혹자는 제2차 세계대전을 '암호전쟁의 시작'이라고 부르기도 한다. 일설에 의하면 일본의 진주만공급을 알리는 암호도 미국이 이미 해독했으며, 공습을 방치한 것은 오직 합법적으로 전쟁에 개입하기 위한 구실이었다고 한다. 그래서 일본은 미국이 파논 함정에 빠졌다고 주장하는 정치학자도 있다.
우리는 앞에서 최초의 기계식 또는 전자식 계산기의 용도는 암호문작성과 해독에 관한 것이었음을 보았다. 제1차 세계대전의 결과 암호가 전쟁에서 매우 중요한 위치를 차지함을 알게 되었다. 이후 전자통신공학의 발달로 보다 많은 정보를 보다 빠르게, 보다 넓은 지역에 보낼 수 있게 되었다. 그러나 편리함 만큼 불편함(?)도 늘어나게 되었다. 그 전파를 청취할 수 있는 사람이라면 누구든지 그 전파에 담긴 정보를 이용할 수 있었다. 따라서 "3번 진지에 탄약이 부족하다"라고 크게 소리를 질러 아군에게 알리는 것은 좋지만, 그 소리는 역시 적군의 귀로도 솔솔 흘러들어가서 미소를 짓게 한다.
제1차세계대전때는 단지 종이와 연필만으로 암호를 작성하고 해독했다. 그러던 중 에니그마(Enigma)라는 기계의 등장으로 암호기술뿐만 아니라 현대식 디지털컴퓨터 발달에도 조그마한 진보가 이루어졌다.
천재수학자 튜링의 에니그마 정복
에니그마는 독일출신의 엔지니어인 셀비우스에 의해서 폴란드 근교의 한 농촌에서 발명됐다. 에니그마는 타자기와 비슷했다. 한자씩 타이프할 때마다, 내부에 얽힌 회전자가 동작해 그 글자에 해당되는 암호화된 글자를 몇자씩 종이에 타이프했다. 즉 이전에 사람이 한자씩 옮겨적던 방식을 전기식으로 바꾸었던 것이다. 일종의 환치식(substitution) 암호기였다.
그것을 해독하기 위해서는 역시 같은 모양의 에니그마를 가져야 했다. 그러나 1차대전이 끝날 무렵만 해도 암호문의 중요성이 그다지 널리 인식되지 못했다. 셀비우스는 에니그마를 몇대 팔지도 못하고 세인들의 무관심속에서 세상을 떠났다.
2차대전은 에니그마를 부활시켰다. 독일이 유럽을 침공할 때 모든 지령문은 에니그마를 통해서 암호화된 형태로 전달되었다. 따라서 독일군의 전파를 청취해도 그것이 도대체 무엇을 뜻하는 것인지 연합군측에서는 알 수 없었다. 독일군은 에니그마를 개량해 보다 복잡하게 만들었다. 회전자수도 최초 셀비우스방식의 3개에서 2개를 더해 5개까지 증가시켰다. 더욱 복잡한 암호문이 탄생했다.
영국군은 황당했다. 연일 계속되는 런던 폭격에 정신이 얼얼했지만, 전쟁승리의 핵심이 바로 독일군 무선지령의 해독에 있다는 사실을 확신하게 됐다. 그러나 난수표같은 독일군의 암호문을 도무지 해석해 낼 수는 없었다.
그러던 중 1939년 폴란드의 한 농가에서 발견된 괴상한 타이프라이터에 관한 첩보가 영국군 정보부로 흘러들어왔다. 타이프라이터치고는 너무 복잡하게 생긴 그 기계는 바로 에니그마의 복제품이었다. 그 기계에는 설명서까지 포함돼 있었다. 그렇다고 해서 독일의 비밀지령이 바로 해독된 것은 아니었다. 한 장교가 입수된 에니그마를 두어시간 덜거덕거려 보았지만 도저히 독일군의 암호문을 알길이 없었다. 왜냐하면 에니그마는 고정된 암호를 생성하는 것이 아니라 회전원판의 위치를 바꿈으로서 엄청나게 다양한 암호형식을 만들 수 있기 때문이었다. 그 수는 수십억이 넘었다.
영국측은 에니그마의 해독을 위해서 '울트라'(Ultra)라는 계획을 비밀리에 세웠다. 그 본부는 폭격의 공포에서 벗어난 런던 북쪽의 한 고풍스런 저택에 위치했다. 울트라 계획의 주인공들이 속속 모여들었다.
목욕물속에 잠수해 있다가 독일잠수함의 암호전문을 해독해냈다는 전설적인 암호 분석가인 딜와인 녹스(Dillwyn Knox), 세기의 천재수학자 알랜 튜링, 그외에 자칭타칭 천재라는 기인들이 저택 지하실에 모여들었다. 그중에는 서양장기의 달인도 포함돼 있었다. 우리식으로 표현하자면 조훈현 서봉수 정도의 사람들이었으리라.
괴짜들의 총집합은 서서히 거대한 힘을 발휘하기 시작했다. 그 과정은 참으로 지루하고 반복적인 것이었다. 즉 암호문에서 생기는 일정한 패턴과 독일어가 가지는 일정한 패턴을(예를 들면 정관사의 위치라든지) 서로 비교 분석하는 것이었다. 나치는 하루에도 세번씩이나 회전자의 위치를 바꾸었기 때문에 그 해독 작업은 험난할 수밖에 없었다.
튜링과 녹스의 뛰어난 통계분석기법으로 인해 한개씩 암호문이 번역되기 시작했고, 그 시간도 점점 단축되기 시작했다. 심지어는 독일의 암호문이 수신된지 몇 시간내에 해독되기도 했다. 독일도 약간식 낌새를 알아차리기 시작했다. 어쩐지 암호가 새어나간다는 소문이 나자 독일은 또한번 더 복잡한 암호화기계를 만들었다. 새로운 기계는 모두 12개의 회전자로 이루어졌다. 히틀러의 모든 지령이 모두 이 12개의 회전자를 가진 기계로 번역됐다. 이제 구식의 에니그마 복제품 하나만으로 12개의 회전자를 가진 독일의 암호기를 따라 잡을 수 없게 된 것이다. 튜링과 녹스도 한계에 부딪쳤다. 무엇인가 새롭고 혁신적인 장치가 필요하게 됐다.
튜링은 지금까지 사용해온 전기릴레이식 장치로는 도저히 더 버틸 수 없음을 간파했다. 1943년 영국체신연구소의 도움으로 진공관식 암호해독기가 태어났다. 이제는 탁탁거리면서 파란전기스파크를 발생하는 에니그마식 해독기는 진공관식 해독기에 의해서 밀려나게 됐다.
2천4백개의 진공관을 가진 전자식 해독기의 이름은 거인이라는 뜻의 '콜로수스'(Colossus)라고 명명됐다.
콜로수스는 나치의 암호문을 초당 2만5천자 정도로 번역해내는 기절할만한 속도를 자랑했다. 종이와 연필로 끙끙대며 해독하던 시대의 사람들에게 이 콜로수스는 그야말로 거대한 악마로 보였을지도 모른다.
콜로수스는 현대적 의미에서 볼 때 조금도 빠지지 않는 컴퓨터였다. 비록 그 사용범위가 한정적이긴 했지만 에니악(Eniac)보다는 2년 정도 앞선 기술을 보였다.
암호해독술이 명암가른 미드웨이해전
1942년 미드웨이섬은 미국과 일본의 사활적 운명이 걸린 격전장이었다. 미드웨이가 미대륙과 아시아대륙의 중간 지점에 위치해 있기 때문에 그 전략적인 가치는 대단히 높았다. 말 그대로 미드웨이(midway)였기 때문이다.
미국은 이미 일본의 D형 암호해독을 통해 대략의 일본군 공격방향을 알고 있었다. 그러나 그 정확한 지점이 어디인지는 몰랐다. 1942년 5월 26일 일본군의 긴급 전문이 포착됐다. 해독된 내용은 "공격지점은 AF다"였다. 해독은 됐지만 AF지점이 어디인지를 알 수 없었다.
미국은 미끼를 던졌다. 미드웨이가 가장 유력한 공격목표이긴 했지만 확신을 할 수 없었다. 미국은 다음과 같은 전문을 발송했다. "미드웨이의 증류수공장 물 부족. 보급하라." 곧 이어 일본군의 무전이 포착, 해독됐다. "적군 AF에서 물 부족". 이 한장의 전문으로 태평양전쟁의 승패는 그 방향을 바꾸기 시작했다.
드디어 6월5일, 화창한 여름날 야마모토 장군이 이끄는 일본 최강의 연합함대는 미드웨이 해상에서 숨죽이며 기다리던 미국함대에 의해 완전히 괴멸하고 말았다.
암호해독술과 재치가 안겨다준 승리였다. 당시 일본이 사용한 D암호는 자신들이 최강의 암호라고 믿었음에도 불구하고 90% 이상이 미국에 의해 해독됐다. 일본은 독려차 떠난 야마모토 대장이 탑승한 비행기가 격추될 때까지 D암호가 미국측에 의해서 해독되는지를 몰랐다고 한다.
D암호는 암호책과 난수표를 결합해서 만든 꽤나 복잡한 암호였다. 일본인들은 그 복잡하고 지루한 암호화 과정을 미국인들도 손으로 반복할 것이라고 믿었다. 그러나 미국의 발달한 전자식 계산기에게 그런 일은 그야말로 식은 죽먹기에 불과했다. 일본어를 전혀 모르는 프리드만이라는 미국인은 일본어로 된 암호문을 손으로 해독했다고 한다. 그 해독의 키는 바로 글자빈도의 조사에 있었다. 이렇게해서 2차대전의 승리는 암호전쟁의 승리자에게 돌아갔다.
죽느냐 사느냐의 기로에서 필사적으로 발명된 암호해독기는 현대식 컴퓨터에 엄청난 영향을 미쳤다. 이제 연기나는 전쟁은 끝났지만, 각 기업간이나 국가간의 소리없는 정보전쟁이 시작됐고, 여기에서도 암호화는 다시 위력을 발휘하기 시작했다.
마타하리는 악보를 이용
암호의 역사는 매우 길다. 세계에서 제일 오래된 암호문은 스키테일(Scytale)이라는 도구를 이용한 전치식 암호였다. 즉 같은 굵기의 봉에 글자를 쓰되, 그 암호화된 글자는 글자가 쓰여진 수직 방향으로 한줄씩 추출돼 암호문을 형성한다. 즉 가로로 쓴 문장을 세로로 한줄씩 잘라 보내는 것이다. 이렇게 만들어진 암호는 오로지 같은 굵기의 봉에 의해서만 해독된다. 지금보면 다소 유치하지만 당시에는 매우 획기적인 방법이었다.
노예의 머리를 깍고, 그 곳에 글자를 쓴 뒤 노예의 머리가 길면 그 노예를 밀사로 보내는 방법도 기원전에 사용됐다. 시저도 암호를 사용했다. 시저식 암호를 보통 환자식(換字式)이라 부른다. 이는 한글자를 다른 글자로 바꾸는 방식으로 A를 T로 B는 S로, 즉 이미 내정된 글자로 바꾼다. 전해지는 이야기에 의하면 '오늘저녁 조심하라'는 암호문을 시저가 해독한뒤, 그날 저녁 브루투스에게 살해되었다고 한다. 환자식은 가장 흔히 사용되는 방식이다.
환자식이 보다 복잡해지면 두글자식으로 환자표가 커지게 된다. 예를 들면 AB→EF, AC→GT 등으로 이 방식은 환자표가 늘어가는 단점이 있긴 하지만 해독하기가 한 글자식보다는 어렵다는 장점을 가진다. 스파이의 여왕인 마타하리는 악보를 이용한 환자식 암호를 사용했다고 전해진다.
그러나 현대에 와서는 인간이 손과 난수표 등을 이용해 만든 환자식 전치식 암호가 대부분 인간의 지능과 전자기계의 도움으로 해독되게 됐다. 이제 암호화과정에도 컴퓨터가 본격적으로 등장했다. 컴퓨터의 등장으로 암호화는 속도 뿐만 아니라, 그 정확성도 높아졌다.
손으로 하던 때는 암호화과정이 복잡해서 암호작성자의 실수로 인해, 수신측에서도 가끔 오독하는 경우가 있었다.
컴퓨터의 등장으로 암호체계는 다소 혼란스럽게 됐으나, 1977년 미연방정부가 표준안인 DES(Data Encryption Standard)를 제안함으로써 정리됐다. DES는 사실 연방정부의 공개제안에 응한 IBM의 작품이었다.
DES는 기본적으로 16자리의 암호화키(key)를 이용해 전치와 환치과정을 10번 이상이나 반복한다. 따라서 그것을 공격해서 이길 수 있는 방법은 모든 가능한 키를 하나씩 조사해 보는 방법뿐이다.
슈퍼컴퓨터를 사용한다 해도 하나의 비밀 DES용 키를 알아내는 데는 무려 1천년 이상이 걸린다.
물론 재수가 대단히 좋아서 처음에 재깍 해결되는 수도 있겠지만. 그러나 실제로 DES는 꽤 위험하다. 사람들은 'AZC32024!YT'와 같이 발음할 수도 기억하기도 쉽지 않은 글자를 사용하지 않는다. 대신 'KISS ME'라든지 'APRIL' 등 자신이 좋아하는 특정한 단어를 쓰게 된다. 이로 인해 가끔씩 DES시스템의 비밀 메시지가 해독되기도 한다.
따라서 미국 주요기관에서는 그런 의미있는 단어로 구성된 키의 사용을 강력히 억제한다.
한편 일본에서는 NTT의 주도로 DES와 유사한 FEAL-8(Fast Data Encipherment Algorithm) 암호알고리즘을 개발했다. FEAL-8은 DES와의 호환성을 중시해 암호문의 길이는 64비트(bit)로 하고, 비밀키의 크기도 64비트로 했다. 각 나라마다 자체의 안전성을 위해서 DES를 조금식 변형해 사용하고 있다.
세상에는 암호를 만드는 사람에 비해 그것을 깨뜨리려고 덤비는 사람이 훨씬 많다. 그 어느것이나 당사자를 유명하게 만들기 때문이다. 1990년 DES는 몇몇의 이스라엘 과학자에 의해 국제암호학회에서 깨어졌다.
그것도 대형의 슈퍼컴퓨터에서가 아니라 개인용컴퓨터(AT)를 몇대 묶은 소형 시스템에 의해서. 여러 사람들은 놀라움과 우려를 표명했다.
슈퍼컴으로 수백만년 걸리는 소인수분해
1976년 스탠퍼드 대학의 헬만디피 메클러 세사람은 키의 배분문제를 걱정하지 않아도 되는 획기적인 암호화기법을 제시했다. 그 방식의 이름은 '공개키시스템'이다. 헬만에 의해서 기초가 다져진 공개키 시스템은 1977년 MIT대의 삼총사인 리베스트(Rivest) 샤미르(Sharmir) 아델만(Adelman)이 제안한 RSA방식으로 현실화됐다.
RSA 방식 전체를 설명하기란 무척 어렵다. 이 방식은 트랩도(trapdoor) 함수를 이용한다. 트랩도 함수란 한쪽으로 계산하기는 쉽지만 역으로 계산하기는 힘든 함수를 말한다. 한때 헬만은 자신이 제안한 공개키 방식으로 구성된 배낭식 암호화(Knapsack Encryption)가 난공불락이라고 자랑했다. "누구라도 이것을 깬다면 1백달러를 주겠다."
그러나 헬만은 5년뒤 1백달러를 잃게 됐다. 그 장본인은 앞서 소개한 샤미르였다. 그가 배낭식 암호화를 풀면서 소개한 방식이 바로 RSA방식이였다. RSA방식을 지켜주는 것은 소인수분해 문제이다. 즉 RSA방식을 해결하는 것은 어떤 커다란 숫자(약 1백자리)가 어떤 약수를 갖는지 소인수분해하는 문제로 귀착된다.
소인수 분해문제는 쉬운듯해 보이지만 그 자리수가 1백자리가 넘으면 초대형 슈퍼컴퓨터를 사용해도 수백만년이 족히 걸린다.
이렇게 이론적인 안전성을 가지는 RSA방식도 상업적으로 DES에 비해서 뒤쳐져 있다. 왜냐하면 이미 공용 네크워크에 DES가 RSA보다 먼저 사용되었기 때문이다. 컴퓨터업계에서 선점이 가지는 기득권은 대단하다. 그리고 RSA는 대개 프로그램에서 보조를 하기 때문에 이미 마이크로칩화된 DES에 비해서 속도가 느리다는 것이다.
약 1백배 정도나 느린 RSA를 상업용 기관에서 채택하기란 대단한 인내심을 필요로 한다. 암호화도 어느 정도의 실용성이 있어야 한다. 두어장의 서류를 보내는데 며칠간 암호화 과정이 걸리는 것은 배보다 배꼽이 더 큰 경우다.
"인간이 만든 암호는 인간에 의해서 반드시 깨어진다"고 에드거 앨런 포는 이야기했다. 컴퓨터의 등장으로 새로운 암호체계가 나오는 속도만큼이나 그것은 빨리 해독되고 깨어진다. 그러나 새로운 암호를 만들어서 자신만의 성(城) 안으로 숨어들어가려는 인간의 본성이 사라지지 않는 한 그에 관한 노력은 계속될 것이다.
