안녕하세요. 오유에 처음 글 올리는 곳이 과게라는 사실이 참 송구합니다. 제 전공은 과학이 아니거든요. 제가 쓸 내용은 수학의 몇 가지 개념과 수리논리학에 대한 것인데, 그렇다고 제가 수학전공인 것도 아닙니다. 제 전공은 철학이고, 논리학을 철학의 일부로 보는 관점이 고대부터 오늘날까지 있는 만큼, 제가 완전히 무자격자는 아닐 겁니다. 다만 과게의 특성상 수학적인 주제에 대해 저보다 더 잘 다룰 분들이 차고 넘칠 텐데도 주제넘게 나서게 된 것에 대해 부끄러움을 느끼고 있다는 건 미리 밝혀두겠습니다.

얼마 전에 이 게시판에서 수리논리학과 수학의 공리들에 대해 황당한 비난을 가하는 글을 발견했습니다. 그 분은 나름의 논거를 갖췄다고 생각하실는지 모르지만 제가 보기엔 영 아니었으니 비난이라는 표현이 과하지 않겠죠. 과게에 공부를 업으로 삼으신 분들이 꽤 계실 텐데, 자신이 공부한 이론과 학자들에 대해 오해가 퍼지는 상황에서 어떤 기분일지 아시리라 생각합니다. 바로 그 기분이 제가 쪽팔림을 무릅쓰고 수학 비전공자로서 수학 썰을 풀게 된 동기입니다.

제가 적을 내용은 대단한 수학적 증명 같은 건 아닙니다. 단순한 역사적 사실관계의 정리, 용어의 의미에 대한 분석, 간단한 논변 조금 정도입니다. 다행히도 이 글엔 복잡한 수식 같은 건 필요 없을 겁니다. 특수문자 찾기도 너무 힘들고, 제가 계산을 실수할 가능성이 높거든요. 다만 용어법은 제가 읽은 수리철학서들의 것을 따르기 때문에 생소하게 느껴지실 지도 모릅니다. 오해를 방지하고자 최대한 영문을 함께 표시하겠습니다. 수리논리에 생소하신 분들께 쉽게 설명하기 위한 글은 아닙니다. 죄송합니다.

1. ‘공리는 자명한 명제를 뜻하는가?’에 대해

수학의 공리는 자명한 명제, 즉 별도의 증명 없이 그 자체만으로 참인 명제입니까? 수백년 전엔 그랬겠지만. 지금은 아마 아닐 겁니다. 적어도 현대수학에서는요. 비록 많지 않은 독서량이지만, 저는 학부생시절부터 지금까지 수학의 공리를 자명한 명제로 간주하는 텍스트를 거의 접해본 기억이 없습니다. 물론 공리가 ‘자명해야 한다’라고 당위적으로 주장하는 수학자는 있을수 있지만, 그 때문에 공리란 말이 ‘자명한 명제’를 의미하게 되는 건 아니죠.

제가 아는 한, 현대 수학에서 대부분의 공리는 고정된 의미를 가지지 않습니다. 하나의 형식화된 공리는 다양한 기호로 이뤄져 있습니다. 그 중 일부만이 고정된 의미를 가질 수 있습니다. ‘논리상항logical constants’과 ‘속박변항bound variables’같은 기호들이 이에 해당합니다. 국어의 ‘그리고’, ‘또는’, ‘~라면’, ‘모든 ~는’, ‘어떤 ~는’, ‘~가 아니다’ 등으로 번역할 수 있는 기호들입니다. 나머지 부분은 다양한 해석에 열려 있죠. 그래서 수학과 논리학의 공리들을 국어로 번역하면 ‘모든 A가 B라면 어떤 C는 D이거나 모든 E가 F다’ 따위의 모양이 됩니다. 이런 문장이 의미 있는 문장으로 보이진 않으시죠? 마찬가지로 하나의 전체 명제로서의 공리의 의미는 불확정입니다. 의미가 불확정이니 내제된 진리치가 있을 리가 없죠. 그래서 공리를 참으로 가정한다는 표현이 있는 겁니다. 이러한 의미의 불확정성은 겉보기와 달리 상당한 장점이 됩니다. 연구자마다 편리한 대로 해석해가며 다양한 대상에 이론을 적용할 수 있게 되니까요.

이상하게도 인터넷에서 공리의 정의를 찾아보니 ‘자명한 명제’라는 서술이 많이 눈에 띕니다. 국어사전이나 어린이 수학사전 등이 특히 그렇습니다. 심지어 한국어 위키피디아에도 그렇게 적혀있더군요. 좀 놀랐습니다. 분량도 이상하게 짧고. 다행히 영문 위키에는 제대로 서술돼있습니다. 그 내용을 요약하자면 ‘공리라는 용어는 고대 그리스부터 ’자명한 명제‘라는 의미로 이어졌지만 수학계에선 약 150년 전부터 그 의미가 변형되기 시작해 오늘날의 의미를 가지게 되었다’는 것입니다.

이상의 이유로 ‘공리는 자명한 명제인데 자명한 것을 가정한다는 것은 모순이다’라는 비판은 성립하지 않습니다. 수학자가 그렇게 유치한 모순을 허용할 리가 있겠습니까? 수학계를 너무 우습게 보는 문제제기라고 할 수 있겠습니다. (사실 공리를 자명한 명제로 정의하더라도 그것을 가정하는 것에는 엄밀한 의미의 모순이 없을 수 있습니다. ‘가능성’이란 말의 애매성 때문입니다.)

2 러셀의 역설의 파괴력에 대한 과대평가

수학사에서 러셀의 역설은 중요하고 파괴적입니다. 하지만 그 파괴력을 과대평가하는 것은 역설의 발생에 주의하지 않는 것만큼이나 위험합니다. 러셀의 역설은 집합론의 특정한 공리계를 파괴했죠. 이른바 ‘소박한 집합론naive set theory’의 공리계가 바로 그것입니다. 러셀의 역설은 수학사에 상당한 상처를 남겼습니다. 하지만 수학의 수많은 분야의 수많은 공리계의 일부 공리를 파괴한 것뿐입니다.

사실 러셀의 역설은 이해하기 어려운 내용이 아닙니다. 학부에서 배우는 거니까요. 심지어 교양수업과 교양서에서도 자주 언급됩니다. 그래서 러셀의 역설을 피하는 방법도 무수히 만들어져왔죠. 예를 들어 zfc의 공리계에선 아예 ‘자기자신을 포함하지 않는 집합의 집합이 존재하지 않는다’는 정리가 도출됩니다. a={a}로 정의되는 ‘콰인 원자quine atom’는 자기언급적 집합이면서도 러셀의 역설을 일으키지 않습니다. 사실상 세상의 모든 수학자들이 집합론의 새 공리계를 착안할 때마다 러셀의 역설이 발생하는지의 여부부터 확인하고 있습니다.

러셀 때문에 수학의 공리화가 망했다는 주장은 그래서 황당합니다. (문제의 게시물이 정확히 이렇게 주장하지는 않았습니다. 아주 두루뭉술하게 서술돼있어서요. 의심할 정황이 있는 정도죠.) 러셀이 실패한 건 논리주의 프로젝트지 수학의 공리화가 아닙니다. 수학의 공리화는 러셀 이전이건 이후건 꾸준히 그리고 활발히 이뤄졌으니까요.

(러셀이 수학 전체의 단일한 공리계를 세우는 일에는 당연히 실패했습니다. 누구나 다 실패했죠. 다만 신논리주의라는 흐름이 또 대두된다고 하던데 그게 뭔지는 저도 잘 모릅니다.)

3. 불완전성 정리의 오독

간혹 불완전성 정리를 특정 논리시스템에 모순이 존재함을 증명한 것으로 생각하시는 분들이 계십니다. 모순과 불완전성은 큰 차이가 있음에도 불구하고요. 아무래도 불완전성 정리는 러셀의 역설과 달리 이해하기도 어려워서 많은 오독이 일어날 수 있습니다. 심지어 그 비트겐슈타인마저도 불완전성 정리를 잘못 이해하고 있다는 오해를 받기도 했습니다. (사후 발견된 노트 덕에 누명을 벗었다고 하죠) 저도 남이 증명해 논 걸 한참을 봐야 간신히 이해만 조금 하는 정도지 칠판에 직접 증명해보라고 하면 못합니다. 하지만 불완전성 정리가 ‘특정 시스템에 모순이 존재함을 증명한 것’이 아니라는 걸 이해하는 일은 별로 어려울 게 없습니다.

불완전성 정리를 서술하는 방식은 여러 가지 버전이 있습니다. 무수히 연구된 주제라 계속 새로운 증명법, 새로운 함의 등이 발견되고 학자마다 선호하는 용어법으로 재서술되기도 하니까요. 가장 흔히 돌아다니는 버전으로 불완전성 정리의 결론을 적은 것이 다음의 두 문장입니다.

(1) 자연수의 산술을 충분히 포함하는 형식적 시스템에는 증명도 반증도 할 수 없는 산술적으로 참인 명제가 있다.

(2) 그 시스템이 만약 무모순적이라면 그것은 자기자신의 무모순성을 증명할 수 없다.

이 두 명제의 어디에 ‘모순이 존재한다’는 함축이 있을까요? 없습니다. 문장 (1)에서 ‘증명도 반증도 할 수 없다’는 표현이 언뜻 보기에 모순 같을지 모르겠지만, 모순이 아닙니다. 모순의 구문론적 일반형식은 'p ∧ ~p'(p and not p)입니다. 이 형식을 만족하는 문장 또는 그런 문장을 함축하는 문장(또는 문장의 집합)이 바로 모순입니다. 형식을 아주 엄격하게 지켜야 합니다. 이를테면 양상논리에서 '◇p ∧ ◇~p'(possibly p and possibly not p)는 모순이 아닙니다. 하지만 '◇p ∧ ~◇p'(possibly p and not possibly p)는 모순이죠. ‘증명도 반증도 할 수 없다’ 즉 ‘p도 증명할 수 없고 not p도 증명할 수 없다’는 형식화하면 '~▢p ∧ ~▢~p'(one cannot prove that p and one cannot prove that not p)정도가 될 겁니다. 모순의 일반형식과 전혀 맞지 않다는 게 보이시죠. 문장(2)의 ‘무모순성 증명불가’도 모순이 존재함을 증명하는 것과는 전혀 다른 개념입니다. '만약 무모순적이라면'이라는 조건절이 붙어있다는 게 이 점을 명백히 보여주죠. 무모순성을 증명할 수 없다는 것이 모순이 있음을 말하는 것이라면 ‘만약 무모순적이라면’이라는 조건을 붙일 이유가 없습니다.

어떤 분은 괴델이 자기지시적 문장을 증명에 이용한다는 점에서 러셀의 역설과의 유사성을 느끼기도 합니다. 그래서 괴델의 정리도 러셀의 역설처럼 논리적 모순을 지적하는 것으로 오해하는 게 아닌가 싶습니다. 하지만 유사성을 지적하는 건 단순한 유비추론 이상의 근거는 될 수 없을 겁니다. 자기지시성이 항상 역설이나 모순을 일으키는 게 아니니까요. 고전적인 거짓말쟁이의 역설 즉 ‘나는 지금 거짓말하고 있다’는 진술은 전형적인 역설이지만, ‘나는 지금 참말하고 있다’라는 진술은 똑같이 자기지시적임에도 불구하고 역설적이지 않습니다. 앞서 말한 콰인 원자quine atoms의 경우도 마찬가지입니다. 괴델 본인도 불완전성 정리를 일종의 역설로 오독하는 것에 대한 불만을 표한 적이 있었죠.

더 지적할 게 있는데 너무 지치네요. 공부한지 몇 년 된 내용이라 기술적인 오류가 좀 있을지도 모르겠습니다만 전체적은 논지는 틀림없다고 생각합니다. 이런 읽기 불편한 똥글을 싸지르는 것에 대한 사죄의 말씀과 함께 이만 물러가겠습니다. 

-출처는 대부분 옛날에 본 책들과 위키피디아, 수업교재등이라서 적기가 그렇네요. 혹시 원하시는 분이 있으시면 나중에 달겠습니다.