장승환 / 이화여대 수리과학연구소 연구교수
아무도 풀 수 없는 암호를 만들기 위한 욕망과 풀어내기 위한 욕망의 변증과정에서 암호는 어떻게 변해왔는가. 현실부터 가상 세계, 나아가 미래를 향하는 암호의 원리를 풀어헤쳐본다. 정보를 가진 자가 곧 권력을 얻는 세상에서 암호는 권력을 지키기 위한 혹은 빼앗기 위한 열쇠다. 보이스피싱이 만연하고, 신상을 털어내는 해킹이 더 이상 새로운 충격이 아닌 지금, 당신의 암호는 안녕한가. 본 지면에서는 수식이 만들어낸 가장 치열한 암호의 세계를 집중한다. <편집자 주>
[글 싣는 순서] ① 허락되지 않은 언어, 암호의 등장 ② 전쟁과 근대암호의 등장 ③ 데이터 암호의 한계와 양자암호 ④ 열쇠가 된 몸, 생체암호
수학자, 이니그마의 수수께끼를 풀다
장승환 / 이화여대 수리과학연구소 연구교수
인간사에 있어 세력 간 힘의 충돌이 가장 극렬하게 표출된 것이 아마 전쟁일 것이다. 제2차 세계대전은 거대한 스케일의 힘의 대결에서 정보라는 것이 얼마나 큰 위력을 가지는지를 극명히 보여준 사례 중 하나다. 이 글에서는 암호 기술이 전쟁이라는 사건과 상호작용을 거치며 발전해 온 역사의 한 장면을 살펴보기로 한다.
기본적인 암호화의 방식은 알파벳의 순서를 바꾸어 사용하는 것으로 생각할 수 있다. 예를 들면 <ABCDE…LM NOP…XYZ>의 순서로 되어있는 알파벳을 <JZTMK... BRVCW...AIU>라는 무작위로 순서가 바뀐 알파벳으로 대체해서 문서를 작성하는 것이다. 이 구체적인 무작위 알파벳의 예를 이용하면 “APPLE”이라는 단어는 “JWWBK”로 암호화되고, 암호문은 두 알파벳의 역관계를 이용하여 복호화된다. 이런 식의 암호화 방식을 치환암호(substitution cipher)라 부른다. 가령 A를 J로, B를 Z로 ‘치환’해서 암호화한다는 의미이다.
무작위 순서의 알파벳을 얻는 방식 중 가장 간단히 생각해 볼 수 있는 것은 알파벳의 순서를 유지한 채 일정한 수의 칸만큼 이동시키는 것이다. 알파벳 <ABCDE...Z>를 한 칸씩 이동하여 얻은 <BCDEF...ZA>, 두 칸씩 이동한 <CDEFG...ZAB> 등 총 25가지의 새로운 알파벳이 더 생기는데 이렇게 “시프트(shift)”를 통해 얻어진 간단한 형태의 치환을 이용한 것을 씨저(Caesar) 암호라 칭한다. 26가지의 시프트 알파벳 몇 가지를 골라 암호화의 복잡성을 증폭시키는 방법을 생각해보자. 평문의 첫 글자는 하나의 시프트 알파벳으로 암호화하고, 두 번째 글자는 다른 하나의 시프트 알파벳으로, 세 번째 글자는 또 다른 시프트 알파벳으로 암호화하는 방식이다. 이용하는 시프트 알파벳을 늘릴수록 암호의 복잡성 또한 증가할 것이라는 것은 어렵지 않게 예상할 수 있을 것이다. 이런 방식을 비져네어(Vigenere) 암호라고 부른다.
19세기 들어 모든 것이 전자기계화되기 시작했다. 암호 기술도 예외일 수는 없다. 인간에게는 복잡한 연산의 조합을 (전자)기계가 빠르게 해줄 수 있게 된 것이다. 20세기 초 독일의 전기공학자 셰르비우스(Arthur Scherbius, 1878~1929)는 치환암호를 교묘하게 조합하고 기계화하여 전기로 작동되는 암호화 기계에 대한 특허를 얻고 상용화하기에 이르렀는데, 이것이 그 유명한 ‘이니그마(Enigma)’ 기계이다.
이니그마, 풀리지 않는 수수께끼의 등장
이니그마라는 단어는 글자 그대로 해석하면 풀리지 않는 문제 혹은 수수께끼 등을 의미한다. 치환암호를 위한 무작위 알파벳을 기계화한 것으로 볼 수 있는 회전자(rotor)라는 것이 이용되는데, 말 그대로 암호화 과정에서 회전하여 알파벳을 시프트하는 효과를 주게 된다. 많은 수의 회전자를 조합할수록 암호화되는 복잡성이 증가하여 안전성에 기여하게 되는데, 이니그마에는 세 개 이상의 회전자가 부품으로 장착되었다.
이니그마에서 회전자를 여러 개 사용하는 원리에 대해 생각해보자. 앞에서 말한 바와 같이 하나의 회전자는 무작위 알파벳 하나와 대응되는 것으로 볼 수 있다. 하지만 다른 점은, 회전자는 글자 하나가 암호화될 때마다 한 칸씩 회전하게 고안되었다는 것이다. 앞에서의 무작위 알파벳 <JZTMK...BRVCW...AIU>를 예로 들면 “AAAA”라는 평문은 치환 암호에 의하면 “JJJJ”로 암호화 되는 반면, 회전자에 의하면 “JZTM”로 암호화된다. 즉 글자를 하나씩 암호화할 때마다 알파벳이 <JZTMK...BRVCW...AIU>에서 <ZTMK...BRVCW...AIUJ>로, 그리고 <TMK... BRVCW...AIUJZ>로 변화해가는 것이다. 즉 치환 암호에 26가지의 동적인 변화를 더하여 복잡성이 증가하게 된다. 여기에다 두 번째 회전자를 추가하면 첫 번째 회전자에 의해 26가지의 알파벳이 모두 적용된 후 두 번째 회전자가 적용된다. 이런 식으로 세 번째 회전자까지 추가되었을 경우 세 개의 치환 암호에 더하여 26×26×26=17,576가지의 시프트에 의한 동적인 변화가 첨가되어 복잡성이 대폭 증가하는 것을 알 수 있다. 인간의 순수한 힘만으로는 불가능하거나 시간이 너무 오래 걸릴 수 있는 연산을 통한 암호화와 복호화를 기계가 대신하게 됨으로써 새롭고 더욱 안전한 암호 기술이 탄생한 것이다.
수학, 이니그마를 해독하다
대량생산에 들어간 이니그마는 독일군을 비롯해 유럽 여러 기관에서 사용되기 시작했고, 급기야 제2차 세계대전 발발 후에는 독일군이 정보전에서 우월한 지위를 차지하는데 지대한 공헌을 하게 된다. 한편 이니그마를 분석하여 암호를 무력화시키려는 미국과 유럽 각국의 노력은 점점 열기를 더해갔고, 기존에 언어학자들이 주로 독점해왔던 암호해독자의 자리를 수학자를 비롯한 과학자들이 서서히 잠식해가는 상황이 연출되었다. 드디어 암호 연구에서 현대화의 싹이 트기 시작한 것이다. 영국 정부는 블레츨리 공원(Bletchley Park)이란 곳에 정부 코드와 암호 학교(Government Code and Cyper School, GC&CS)를 설립하고 이니그마 암호문의 해독에 총력을 기울이게 된다. 이 국가기관은 그 정점에 12,000 명의 암호해독가를 보유하기도 하였는데, 그중 8,000여 명이 여성이었다는 점은 주목할 만하다.
GC&CS에서 일하게 되는 신동 수학자 튜링(Alan Turing, 1912~1945)의 활약상은 최근 상영된 영화 <이미테이션 게임>에서 생생하게 묘사된 바 있다. 튜링은 기존 암호해독의 주된 원리이던 빈도분석(frequency analysis)을 뛰어넘어 모든 암호문을 순식간에 해독할 수 있는 기계를 만드는 데 혼신을 다했다. 튜링이 알고리즘의 개념을 최초로 정립하고, 튜링 기계(Turing machine)라 불리는 다용도 컴퓨터를 이용한 계산 이론을 제시했으며, 나아가 튜링 테스트(Turing test)를 제안하는 등 인공지능(AI)의 기초를 마련하게 된 것은 우연이 아니다.
결론적으로, 영국의 암호해독가들에 의해 만들어진 암호해독기계로 인해 이니그마는 해독되고, 연합군이 전쟁을 승리로 이끄는데 중대한 공헌을 하게 된다. 전쟁을 통하여 수학은 암호 기술의 최상의 지원군임이 밝혀졌고, 더 나아가 현대 암호학에 있어서 수학과 암호는 떼려야 뗄 수 없는 동전의 앞뒷면 같은 관계를 지속하게 된다. 현존하는 암호 기술을 하루아침에 낡은 것으로 만들어버릴 수도 있는 양자 컴퓨터의 출현을 수년 안에 목격할 수 있을 것으로 기대되는 지금, 또 어떤 종류의 수학이 암호연구가들을 열광시키고 좌절시킬 것인지 질문을 던져보게 되는 시점이다.