무리수 파이를 이용한 예술. 파이의 값을 구해 0부터 9까지의 자릿수에 해당하는 곳에 색칠해서 그려낸 이미지.
흔히 이치에 어긋하거나 정도를 벗어나는 행동을 할 때 ‘무리수(無理手)를 둔다’는 표현을 쓴다. 그런데 비슷한 단어가 수학에도 있다. 유리수와 대척점에 있는 무리수(無理數)라는 수다. 그렇다면 수학에서 무리수는 이치에 맞지 않거나 정상적이지 않은 수일까? 무리수를 의미하는 ‘irrational number’라는 영어 단어를 보면 언뜻 그 말이 그럴듯해 보인다. 하지만 과연 그럴까?
irrational number는 rational하지 않은 수를 의미한다. rational이라는 단어는 라틴어 ratio로부터 비롯됐다. ratio는 17세기 중엽부터 우리가 잘 아는 ‘두 수의 비(比)’라는 의미로 사용되기 시작했다. 이 경우 irrational number는 두 수의 비로 나타낼 수 없는 수를 의미한다. 그렇다면 두 수의 비로 나타낼 수 있는 것과 나타낼 수 없는 것을 구분하는 것은 왜 중요할까? 이 문제를 이해하기 위해서는 고대 그리스의 수 개념을 이해할 필요가 있다.
르네상스기에 상인들이나 지주, 그리고 귀족들이 보유하고 있었던 계산판. 코인처럼 생긴 토큰을 이용해 상업 및 무역과 관련된 계산을 했다. 이들에게 수란 코인처럼 셀 수 있는 것이었다.
고대 그리스에서 수는 셀 수 있는 수를 의미했다. 지금 표현으로 하면 하나, 둘, 셋 등이 1, 2, 3 등으로 표현되며 수를 구성했다. 그렇다면 소수나 분수는 수가 아니었을까? 소수나 분수라는 용어는 르네상스기 서유럽에서 만들어진 것이지만, 소수나 분수에 해당하는 수는 이미 고대 그리스에 잘 알려져 있었고 사용되고 있었다. 다만 지금과 다른 점이라면 당시에는 그것을 수라고 부르지 않고 양이라고 불렀다는 사실이다.
그런데 고대 그리스에서는 바로 이런 수를 아주 중요하고 고귀하게 보았다. 수를 이렇게 이해하기 시작한 것은 고대 그리스의 피타고라스로부터 기인한다. 피타고라스는 수를 통해 보이지 않는 우주의 원리를 이해할 수 있다고 보았다. 피타고라스학파가 ‘만물의 근원은 수’이고, ‘수학의 원리가 존재하는 것들 모두의 원리이며, 이것들 가운데 수는 본성상 으뜸가는 것이다’고 주장했던 것은 수와 수의 비의 신비에서 비롯됐을 것이다.
그런데 이런 상황에서 무리수가 발견됐다. 가령, 무리수는 직각이등변삼각형의 빗변에서 쉽게 발견될 수 있는데, 양변이 a라고 할 때 빗변은 a 라는 무리수 값을 지닌다. 그런데 이 길이는 다른 변으로 잴 수 없었고 수의 비로 표현할 수도 없었다. 만물을 수로 이해할 수 있다고 보았는데, 직각삼각형의 빗변 하나 제대로 설명할 수 없었으니 피타고라스학파로서는 당혹스러울 수밖에 없었다. 결국 피타고라스학파는 무리수를 ‘잴 수 없는(incommensurable) 양’ 이라고 불렀고, 수에는 포함시키지 않았다. 그리고 무리수의 존재를 숨겼는데, 프로클로스의 글은 이러한 정황을 잘 보여 준다. "감춰져 있던 무리수를 처음으로 공개하는 사람은 파멸하여 죽을 것이고 그것은 모두에게 적용될 것이다. 말로 표현할 수 없는 것과 형체가 없는 것은 감추어질 필요가 있기 때문이다."
하지만 무리수는 감춘다고 감출 수 있는 것이 아니었다. 정사각형의 대각선의 길이가 무리수이듯, 주변에서 무리수 값을 찾는 것은 흔한 일이기 때문이다. 따라서 고대 그리스인들은 무리수를 수로 인정하지는 않았지만, 실용적인 목적을 위해서는 무리수의 근사값을 계산해 활용했다.
이슬람 수학자 알콰리즈미. 그의 대수학 저서가 서유럽으로 전해져 대수학 연구를 꽃피웠다. 소련에서 제작된 우표.
이런 가운데 중세 서유럽에서 상업과 무역이 발전하면서 전통적인 수의 개념을 확대해 무리수까지 다룰 필요성이 제기되기 시작했다. 천문 및 항해 계산이나 이자 및 세금 계산 등을 위해서는 무리수를 다루는 게 필요했기 때문이다. 때마침 이슬람 세계로부터 대수학이 전해지면서 수학 계산에 무리수가 등장하기 시작했다. 이슬람 수학자들은 2차방정식의 해법을 연구했는데, 그 과정에서 해 중에 무리수인 제곱근이 포함됨을 발견했다. 이후 그들은 3차방정식의 해법도 연구했는데, 그 과정에서 제곱근으로는 3차방정식의 해를 구할 수 없음을 발견하기도 했다. 새로운 대수학 연구는 상업이 발전했던 이탈리아에서 곧바로 받아들여졌다. 특히, 점차 성장하던 상인 계층의 자제들에게 계산법을 가르치던 상업수학학교가 늘어나면서 이슬람에서 소개된 대수학 연구는 서유럽에서 더욱 발전하기 시작했다.
그러나 대수학 연구가 발전하는 동안에도 무리수는 여전히 기피 대상이었다. 따라서 방정식을 풀면서 음수를 포함하여 무리수가 나올 경우에는 근으로 인정하지 않았다. 전통적인 수 개념에서 음수나 무리수는 수가 아니었기 때문이다. 이런 상황에서 대수학을 집대성했던 카르다노는 대수적 논의의 대상을 음수와 무리수까지 포함하여 확대할 것을 주장했다. 그러나 전통적인 수 개념이 굳건한 상태에서 무리수를 인정하는 것은 쉬운 일이 아니었다.
르네상스기에 상업이 발전하고 원거리 항해가 활발해지면서 방정식 연구와 무리수 계산은 더욱 시급해져 갔다. 프랑스의 수학자 비에트는 대수학 연구에서 무리수까지 포괄하는 문자 기호 사용을 제안했다. 그는 B, C, D, F, G와 같은 자음은 이미 알려진 계수를 표현하는 데 사용하고, 모음 A, E, I, O, U는 미지수를 표현하기 위해 사용하자고 했다. 이후 데카르트에 이르면 보다 더 근대적인 기호가 사용되기 시작했다. 가령, 방정식의 계수의 경우에는 앞에 있는 소문자 a, b, c 등을 사용했고, 미지수를 위해서는 뒤쪽에 있는 소문자 x, y, z 등을 사용했다. 또한 x의 세제곱 역시 x3 으로 표기하는 등 기호 사용에서 보다 근대적인 모습을 보여 주었다. 수를 대신해 기호가 사용되기 시작하면서 유리수든 무리수든 동일한 방식으로 표현할 수 있게 되자 전통적인 수 개념에 대한 도전은 더욱 거세져 갔다.
더욱이 이 시기에는 네이피어에 의해 로그가 고안되었는데, 초기 연구 과정에서 네이피어는 현대적인 방식과는 달리, 기하학적인 양을 수에 일대일 대응시키는 방식으로 로그를 정의했다. 그리고 기하학적인 양에 대응하는 로그 값을 십진법을 이용해 길게 어림 계산하여 기하학적인 양과 수 사이의 구분을 모호하게 만들었다. 로그는 개발 이후 수학자 사회에서 활발하게 받아들여졌는데, 이 과정에서 기하학적인 양과 수 사이의 구분은 점차 희미해져 갔다.
이외에도 고차방정식의 연구 과정에서 3차방정식의 일반 해가 세제곱근과 제곱근으로 구성된다는 사실이 발견됐다. 이후 이탈리아의 수학자 페라리는 4차방정식이 네제곱근을 넘지 않는 거듭제곱근으로 구성될 수 있음을 보였다. 이후 n차 방정식의 경우 n 제곱근을 넘지 않는 거듭제곱근으로 해를 구성할 수 있음이 확인됐다.
근대 초의 여러 수학적 연구 성과들과 함께, 무리수인 제곱근이 일반적으로 사용되면서 무리수는 수의 일부가 되어 갔다. 수의 영역에는 유리수 외에도 무리수가 포함됐고, 무리수를 다루는 함수나 방정식, 그리고 미적분학의 문제들이 활발하게 연구됐다. 무리수는 수학 연구 과정에 없어서는 안 될 존재였다.
이제 무리수는 우리에게 익숙한 것이 됐다. 그렇다면 이러한 무리수는 도대체 어디에 사용될까? 사실 실용적인 목적을 위해서라면 굳이 어렵게 무리수를 논할 필요가 없을지도 모르겠다. 무리수를 정확하게 재단하는 것은 불가능하므로 실용적인 문제를 해결하기 위해서는 단지 어림값만 계산하면 되기 때문이다. 그렇다면 수학 교과서에서는 왜 무리수를 계속해서 다루는 걸까? 중·고등학교 수학 교육 과정에서는 제대로 이해하기 힘들겠지만, 고등 수학 연구에서 무리수는 중요한 역할을 한다. 함수나 극한, 무한 급수, 그리고 미적분학의 문제들은 물론이고, 로그함수와 지수함수, 그리고 삼각함수와 관련된 문제들을 정의하고 해결하는 과정에서 무리수가 유용한 역할을 하는 것이다.
이외에도 19세기 말에는 유리수와 무리수에 대한 연구가 진행되면서 실수가 새롭게 정의되었다. 이는 이전에 미적분학이 연구되는 과정에서 제대로 해결되지 않았던 논리적인 문제들을 해결하고, 미적분학의 개념들을 새롭게 정의하는 데 크게 기여했다.
학생들 입장에서는 여전히 무리수가 큰 의미를 지니지 않을지도 모르겠다. 하지만 역사적으로 수학 분야에서 무리수가 얼마나 중요한 화두를 던졌고 관련 연구들이 진행되었는지를 생각할 때 무리수는 수학 교육 과정에서 반드시 다루어야 할 수임에는 틀림없다.
조수남 수학사학자 sunamcho@gmail.com
조수남 서울대 과학사 및 과학철학 협동과정 박사. 현 서울대 강사이다. 과학사와 수학사를 연구하고 있다. 고등과학원 초학제연구단에서 연구했으며, 『욕망과 상상의 과학사』 등을 썼다.