나의 수학 편력기

중학교 때 교과서에서 아인슈타인 이야기를 처음 접했었다. 매우 흥미로워서 고교 시절 그의 전기를 서너 번 되 읽었다. 혁명적인 시공간 개념 탄생과정이 재미있었고 ‘우주의 등대수’라는 아인슈타인의 별칭이 맘에 들었다. 이어서 뉴튼, 갈릴레오, 페르미의 전기도 읽어보았다. 이때부터 수학을 전공해보리라 마음먹었다.

그런데 이들은 너무 천재였다. 전기에는 이들의 어릴 적 무용담이 화려하게 기술되었다. 그들을 나는 도저히 쫓아갈 수 없다고 생각했다. 그래서 소설 읽기도 좋아하던 나는 고2 때 문과로 진입하였다.

거기서도 문제가 생겼다. 소설을 읽으면 끝에 비평가의 평문이 있다. 그런 비평의 시각을 염두에 두고 소설가는 소설을 써야 하는 것으로 여겨졌다. 아무래도 나는 그렇게 소설을 쓸 수 있는 재능이 없어 보였다. 그래서 고3 때 이과 반으로 옮겼다. 천재의 100분의 1 만이라도 해 보자고.

대학에서 수학을 배우는 것은 재미있었다. 해석학에서는 별 흥미를 느끼지 못했지만 대수학과 위상수학은 매우 즐겁게 배웠다. 대수학 교재 Fraleigh 책은 5차 방정식이 대수적으로 풀리지 않음을 최종 목표로 쓴 책인데 그 내용이 내게는 환상적이었다. 기억나는 것은 solvable group 의 factor group 과 subgroup 도 solvable 이라고 보이는 연습문제였다. Factor group 은 쉽게 해결하였다. 그러나 subgroup 은 어려웠다. 끙끙대던 중 꿈에 동기생 서동엽(현재 과기원 교수)이 나타나서 방법을 가르쳐주었다. 잠에서 일어나 그대로 해보니 맞는 것이었다. 어느 날 아침에는 잠에서 깨 누워있다가 안 풀리던 문제 “대수적 수체는 무한차원 공간”이라는 것을 푼 기억이 난다.

대학 졸업 후 군복무 차 장교로 해군사관학교에서 교관생활을 하였다. 그때 Jacobson 의 Basic Algebra I 책 연습문제를 풀며 대수학 공부를 계속하였다. 그리고 수학기초론, 수리논리학에도 관심을 가졌다. 이때 괴델의 불완전성 정리를 처음 알게 되었다.

4년의 군생활 전역 후 대학원에 입학하였다. 대수학이나 정수론을 전공할 생각이었다. 그러나 조금씩 생각이 바뀌었다. 수리논리학이 궁금해진 것이다. 페르마 정리의 증명이 안되던 것은 아마도 괴델의 정리처럼 증명 불가능하기 때문인지도 모를 것이라는 꿈을 꿔봤다. 논리학 전공 교수와 상의도 해봤다. 그러나 논리학은 몽상하던 것처럼 내게 근사한 분야는 아닌 것이라고 결론지었다. 대수적 위상수학과 미분다양체도 수강하였는데 여기서 새로운 재미를 느꼈다. 공간인식을 수학적으로 다루는 것에 매료된 것이다. 그래서 나는 기하학을 전공하기로 마음 먹었다. 최형인(현재 서울대 교수) 선배가 내 의향을 듣더니 한창 왕성하게 연구하는 Richard Schoen 교수를 추천하였다. 나는 준비가 덜 됐지만 너그러운 그는 결국 나를 지도학생으로 받아들였다. 그의 세미나에 들어가 보았더니 몇몇 교수를 포함해 많은 학생들이 강의실을 메우고 있었다. 그러나 강의 내용은 편미분 방정식의 Schauder 이론이었는데 듣고 있으니 나는 그저 어지럽기만 했다. 학부 때 미분기하를 제대로 배우지 않은 나는 하는 수 없이 Spivak 의 책 2권으로 기초 기하학부터 시작하였다. 그 책을 혼자 공부하고 매주 한 시간 정도 질문할 수 있는 reading course 를 Schoen 교수에게서 수강하였다. 진도가 뒤늦은 나는 할 수 없이 자격시험을 한 학기 늦춰야 했다.

내 박사학위 논문 문제는 Michael Freedman 이 Schoen 에게 제기한 문제이다. 3차원 리만 다양체의 근본영역 중에서 겉넓이가 가장 작은 것의 존재성과 정칙성을 보이는 것이다. 솔직히 나는 이 문제가 재미 없었다. 기하측도론을 써서 해석학적으로 증명하는 것이기 때문이다. 뒤따르는 후속 문제도 없는 것이어서 불만이었다. 그러나 10여 년 후에 돌이켜 보니 내 학위논문 문제는 어느새 내 수학의 자양분이 되어 있었다. 나중의 논문들이 근본적으로, 철학적으로 학위논문과 연관되었다는 것을 뒤늦게 깨달은 것이다.

학위논문 문제는 지도교수가 주었으나 둘째 논문이 문제였다. 내가 스스로 찾아야 하는 것이다. 이 과정이 내게는 가장 힘들었다. 이때 나는 지도교수가 인도했던 해석학적인 기하학을 벗어나 내게 더 흥미로운 기하학적인 기하학(?)으로 옮겼다. 결국 나는 극소곡면(국소적으로 넓이가 최소인 곡면)의 등주부등식 문제를 일부 해결한 논문과 극소곡면의 index 에 관한 논문을 쓰게 되었다. 이로서 나는 가까스로 독립적인 수학자가 될 수 있었다.

그 이후 나는 극소곡면의 여러 문제에 관해서 논문을 써왔는데 마음속으로는 항상 세 가지 예상의 해결을 꿈꿔왔다. 극소곡면의 등주부등식 문제, Lawson 의 예상, Meeks 의 예상이 그 셋이다. 이 중 Lawson 의 예상은 4년 전에 Simon Brendle 이 풀었다.

극소곡면의 등주부등식 문제는 다행히 몇 가지 특수한 경우를 해결할 수 있었다. 그러나 그 중에서 가장 대표적인 문제, 즉 유클리드 공간 속 극소곡면의 넓이는 같은 둘레의 원이 에워싸는 넓이보다 작다고 보이는 문제는 내게 정말 어려웠다. 오랜 세월 풀리지 않아 괴로움이 쌓이기만 했다. 한숨은 시도 때도 없이 나왔다. 이전까지 여러 문제들을 해결하며 진리는 나의 편이라고 믿었었다. 그러나 십여 년이 지나도 마지막 key lemma 를 증명할 수 없으니 진리는 변심하고 만 것이라고 나는 실연당한 기분이 들기까지 하였다. 그러던 중 자구책이 뜻밖의 곳에서 나왔다. 詩를 한 편 쓰게 된 것이다. 19세기 독일 수학자 Weierstrass도 “뭔가 시인 다운 면모를 지니지 않은 수학자는 완전한 수학자가 될 수 없다”고 말하지 않았던가. 나는 한 편의 시를 쓴 뒤 마음을 추스르고 그 문제에 관한 연구를 계속할 수 있었다.

젊었을 때는 수학연구를 경쟁적으로 해왔다고 할 수 있다. 논문으로 업적을 평가하니 그럴 수밖에 없기도 하다. 그런데 이제는 그런 태도에서 벗어난 것 같다. 한 분야에서 30여 년을 연구해 왔으니 이 분야의 어떤 면은 세상에서 내 혼자만 알고 있을지도 모른다. 그 면을 나는 세상에 알릴 의무가 있는 것이다. 이제는 수학을 의무감으로 해야 할 시기에 접어든 지도 모른다.

인간의 삶은 매일 새로운 시간이 주어진다. 인간은 새 시간을 새로운 어떤 것으로 바꾸는 창조적 작업을 해야 한다고 생각한다. 수학자에게 창조적 작업은 적어도 세 가지 방법으로 할 수 있다. 자식을 낳아 잘 키우는 일, 제자를 육성하는 일, 논문 쓰는 일이 그것이라고 본다. 나는 이러한 창조적 작업을 적어도 일흔 다섯까지 할 수 있기를 꿈꿔본다. 그리고 아름다운 정리를 사모하는 마음은 아직도 나를 설레게 한다. 멋진 정리를 증명하여 학문의 동료들이 모인 학회에서 발표하는 즐거움을 앞으로도 계속 누리고 싶다.