1과 그 자신에 의해서만 나누어지는 수(數)를 소수(素數)라고 한다. 수학에서 소수에 대한 탐구는 오랫동안 그 자체로 결과의 아름다움을 추구하는 ‘가장 순수한 형태의 연구 분야’로 여겨져 왔다.

그런데 지금은 상황이 180。로 달라졌다. 오늘날 소수에 관한 각종 이론은 ‘소인수 분해 이론’과 함께 첨단 컴퓨터 암호 기술의 핵심을 이룬다. 순수 수학의 진영에서 단숨에 응용 수학의 진영으로 ‘전향’한 것이다. 왜 이런 일이 일어났을까. 답은 간단하다. 소수는 무한히 많고, 찾아내기가 여간 어렵지 않아서 암호로 쓰기에 안성맞춤이기 때문이다.

만델블로트라는 현대 수학자는 수학자답게 자연을 철저히 수학의 관점으로 파악했다. 예컨대 ‘구름은 구가 아니고, 산은 원추가 아니며, 해안선은 원이 아니고, 돛배는 매끄럽지 않다’는 식이었다.

여기서 끝났다면 만델블로트는 그저 고전 기하학을 정립한 유클리드(기원전 300년께)의 평범한 제자에 그쳤을 것이다. 그의 비범성은 불규칙한 자연의 겉모습에 숨겨진 규칙성을 찾아내 이를 수학적으로 재해석하고자 시도한 데 있었다. 1975년‘프랙탈(Fractal)’이라고 이름 붙인 그의 이론은 오늘날 실생활에서 금속의 경도나 강도를 측정하는 일에서부터 우주론·생태학에 이르기까지 광범위한 영역으로 적용 범위를 넓혀 가고 있다.
중간 단계 뛰어넘어 직접 부가가치 창출

수학이라는 학문에 ‘모든 학문의 여왕’이라는 헌사를 바친 사람은 독일인 수학자 가우스(1777∼1855)였다. 그러나 극히 최근까지도 수학은 학문의 세계에서 집안일은 도맡아 처리하면서도 바깥 출입이 제한된 안방 마님과 같은 존재였다. 혹은 수학은 늘 경기에 출전하지만 뒷전에 머물러 선수들의 활약상을 지켜보던 ‘축구 경기 감독’과 같은 신세였다.

이유는 간단했다. 우선 복잡한 논리, 추상적인 용어, 알아듣지 못할 방정식 등 수학이 갖는 일반적인 특징이 ‘화려한 플레이’를 기대하는 관객의 눈길을 끌지 못했던 것이다.

둘째로, 감독 자신이 수천 년에 걸친 오랜 숙련 기간을 거치기는 했지만 방법론·테크닉·개념 등 경기 운영의 노하우에 대해 확신을 갖지 못했다.

그런데 최근 수학이 지식 산업 시대·정보화 시대의 새 첨병으로 떠오르고 있다. 예전에는 기초 과학과 실생활의 부가 가치 창출이라는 목표 사이에 ‘응용 과학’이라는 중간 단계가 있었다. 그러나 최근 중간 단계는 빠른 속도로 무너지고 있다. 반면 과거 무대의 뒷전에 머물러 있던 기초 과학, 특히 수학이 무너진 틈새를 비집고 나와 직접 부가 가치를 창출하고 있다. 앞서 소개된 암호학과 소수의 관계가 대표적이다.

잘 알려져 있듯이 1에서부터 10까지 사이의 소수는 기껏해야 4개(2, 3, 5, 7)이다. 계속하여 소수를 찾아보자. 11, 13, 17, 19, 23, 29, 31, 37… 적어도 두 자리로 이루어진 숫자들 가운데 소수를 찾기란 ‘손바닥 뒤집기’보다 더 쉽다. 그런데 숫자가 커질수록 소수를 골라내기는 점점 더 어려워진다.

여러 수의 곱으로 이루어진 합성수 가운데 특히 소수로만 이루어진 숫자를 찾아내는 일에 이르면 일은 더 어려워진다. 소수를 찾아내기도 어려운 판에, 그러한 소수로만 이루어진 합성수를 찾아내라니…. 현재 80자리 수를 소인수 분해하는 데에는 슈퍼 컴퓨터로도 하루 정도 시간이 걸리는 것으로 알려진다.

지난 수 세기 동안 몇몇 수학자들은 소수를 골라내고, 수많은 합성수 가운데 소수로만 이루어진 합성수를 판별하는 방법을 찾기 위해 무진 애를 써 왔다. 바로 이같은 과정을 통해서 확인한 사실이 컴퓨터가 등장한 이후 ‘해독의 난해함’을 기본 생명으로 하는 암호 기술에 그대로 적용되는 것이다. 수학계에서는 현재 두 100자리 소수들의 곱으로 된 200자리 합성수는 제아무리 뛰어난 컴퓨터의 공격으로도 결코 허물어지지 않는다고 믿고 있다. 암호 기술은 군사·외교·국방 분야는 물론 전자 상거래와 계약, 심지어 개인간 편지 주고받기에 이르기까지 사회 생활의 거의 모든 영역에 사용되고 있다.

데이터 압축 기술과,‘피보나치 수열’, 영상 산업의 ‘꽃’인 그래픽 이론, 금융산업에서 투자 기법과 직결되는 블랙-쇼울즈 방정식도 수학이 현실 세계로 뛰쳐나와 인류의 발전에 ‘직접’ 이바지하고 있는 본보기다.

데이터 압축 기술과 피보나치 수열의 중요성은 그림을 통해 쉽게 설명될 수 있다. 그림은 대개 단순한 기호나 숫자를 컴퓨터에 입력할 때와 비교해 엄청난 정보량이 요구된다. 기호나 숫자와 달리 그림은 각도·색깔·위치 등 다양한 요소로 이루어져 있기 때문이다. 데이터 압축 기술의 핵심은, 이처럼 다양한 요소에 대해 일일이 개별 정보를 집어넣는 것이 아니라, 간단한 수식(또는 방정식)을 만들어 일괄 처리하는 것이다.

수학자 피보나치의 이름을 붙여 만든 피보나치 수열은, 식물에서 나타나는 수학적 규칙성을 이른다. 예컨대 해바라기의 경우, 해바라기 얼굴에 촘촘히 박힌 씨앗들은 2개의 나선 모양으로 규칙적으로 배열된다. 수학자들은 이것을 수학적으로 공식화했고, 나중에는 해바라기 씨의 각도가 137.5。로 이른바 ‘황금각’을 이룬다는 사실도 알아냈다. 이를 수식화한 뒤 수학자들이 생물학자나 미술가가 아닌데도 해바라기를 자연 상태 그대로 재생할 수 있게 되었음은 물론이다. 수학자들의 이같은 연구 결과는 이미 데이터 압축 기술이나 컴퓨터 그래픽 기술에서 빠져서는 안될 핵심 요소로 자리잡았다.
인접 학문에 풍부한 자양분 공급

수학의 위력은 이처럼 거의 모든 사물의 특징·원리를 수학적 방법론으로 이해하고 이를 증명한다는 데 있다. 수학이 단순히 공식이나 외우는 학문이 아니라, 현상을 이해하고 사고하는 학문이라고 말해지는 까닭이 바로 여기에 있다. 수학은 수학자들이 익히 다루어왔던 숫자 그 자체, 삼각형·사각형 등 도형과 원·곡선·공간은 물론 심지어 비누막이나 물방울, 하다 못해 실로 만든 매듭, 미술 작품이나 음악 소리까지도 연구 대상으로 삼아 발전을 거듭해 왔다.

‘무엇이든 사고할 수 있다’는 수학 특유의 자유성은 수학의 가장 큰 강점이며, 동시에 수학자들에게 커다란 짐이 되어 돌아가기도 한다. 수학의 강점은 컴퓨터 시뮬레이션에서 볼 수 있는 것처럼, 특히 물리적 현상을 수학적 모형으로 만들었을 때 극대화한다. 일단 수학적 모형이 정확하다는 사실이 밝혀지면, 똑같은 사실을 확인하기 위해 실험을 하는 등 시간과 비용을 불필요하게 낭비하는 일이 사라지는 것이다.

대신 이같은 자유성에 따른 부담도 만만치 않다. 수학적 모형을 제시하는 데에는 엄밀한 논리로 무장한 증명이 뒤따라야 한다. ‘수학에 관한 한 다수결 원칙이 통하지 않는다’는 말도 이 때문에 나왔다. 이현구 교수(서울대·수학과)는 “9명이 맞다고 해도 누구 한 사람이 틀리다고 우기면 성립하지 않는 학문이 바로 수학이다”라고 말한다.

과거 수학은 철학·물리학·화학 등을 주요 경쟁 파트너로 삼아 발전을 이루었다. 또 수학은 자신의 연구 성과를 인접 학문의 발전에 자양분으로 공급하기도 했다. 경제학·경영학이 수학을 들여다 쓴 지 오래되었고, 언어학이나 정치학 등 인문·사회 과학의 특정 분야도 수학적 방법론을 빌려다 쓰고 있다. 예컨대 선거 때 동원되는 각종 통계 분석이나 여론조사는 때때로 수학계에서 불규칙한 입자 움직임을 추적하기 위해 고안된 ‘브라운 운동’을 원용한다.

비슷한 예는 또 있다. 의학 분야에서 유용하게 쓰이고 있는 컴퓨터단층촬영(CT) 기술의 뿌리는, 수학계에서 ‘주어진 직선에의 어떤 함수에 대한 사영 함수’를 찾는 방법인 ‘라돈 변환’을 엑스선 측정에 활용한 것이다.

앞으로도 수학은 자신의 연구 성과를 나눔으로써 인접 학문들에 ‘마음씨 좋은 시어머니’ 노릇을 톡톡히 할 것이 틀림없다. 그러나 수학이 자신의 역할을 수행하는 방식은 크게 달라질 것이라고 수학자들은 단언한다.

기술과 상상력 수준 일치하면서 ‘화려한 복권’

수학은 현재 컴퓨터 공학과 동반 발전하며 ‘정보 혁명 시대’를 이끌고 있다. 이에 대해 이현구 교수는 “과거 산업화 사회에서는 하드웨어가 중요했다. 그러나 정보화 시대의 핵심은 소프트웨어다. 다시 말하면 고도의 지적 능력이, 물건을 생산하는 지식보다 값어치 나가는 시대로 접어든 것이다. 바로 이것이 수학과 컴퓨터가 만나게 된 결정적인 계기다”라고 말한다.

기술 수준이 사람의 상상력을 따라잡지 못했을 때 수학이 행했던 ‘풍부하고 다채로운 상상의 경험’은 대부분 골방에 처박혀 있었다. 그러나 기술 수준이 상상력의 수준과 맞먹는 시대가 도래하면서 사람들은 비로소 수학의 위력을 실감하며 새삼 감탄을 금치 못하고 있다. 그 ‘엉뚱했던 상상력’이 새 천년을 준비하는 데 매우 유용한 지적 유산이었음을 비로소 깨닫고 있는 것이다.