북클럽 오리진

세상을 탐구하고 타인을 이해하며

무엇보다 나를 알아가는 길

북클럽 오리진이 함께합니다

네.(웃음) 이번 책은 그보다는 쉽게 읽혔으면 합니다.

이번 책은 인공지능(AI)은 물론 그것과 함께 살아갈 우리의 미래에 관한 책입니다. 그래서 비단 기술뿐만 아니라 인간성(humanity)에 대해서도 초점을 맞췄어요.

우리는 미래에 고도로 발달된 AI 시대에도 우리가 '인간적(to be human)'으로 남기를 바라지요. 그렇게 되려면 기술의 방향을 어떻게 조정하고 싶어할까. 이것이야말로 우리 시대의 가장 중요한 대화 주제라고 생각합니다.

AI는 인류가 지금껏 개발해온 기술 중에 가장 강력한 것이 될 것이라고 생각하기 때문입니다. 최선의 것이 될 수 있는 반면 최악의 것이 될 수도 있습니다. 좋은 쪽으로 이끄느냐가 지금 우리에게 달려 있습니다.

주제 자체가 이전 책보다는 상대적으로 쉬운 이유도 있습니다. 왜냐 하면 (이전 책은 우주에 관한 것인 반면) 이번 책은 생명(life)에 관한 것이고, 일자리에 관한 것이고, 사회에 관한 것이니까요. 이런 주제는 물질의 기본 원소라든지 우주의 기원 같은 것에 대해 이야기할 때보다는 일반의 관심사와 연결시키기가 상대적으로 쉽습니다.

AI에 관련해서는 일자리를 이야기하는 책만 해도 대단히 많습니다. 하지만 그것은 단기적인 이슈입니다. 반면에 정작 인류가 직면한 중대사인데도 진지하게 이야기하지 않고 있는 게 있습니다. 기계가 모든 업무에서 인간의 지능을 앞지를 때 어떤 일이 벌어질 것이냐의 문제입니다. 저는 이 거대한 질문에 온전히 초점을 맞춘 책을 쓰고 싶었습니다.

대부분의 사람들은 여전히 이런 생각을 공상과학소설(SF) 정도로 치부합니다. 기계가 미래에 우리가 할 수 있는 모든 것을 할 수 있다는 생각 말입니다. 이런 생각을 SF로 치부하는 이유는 지능을 우리 같은 생물학적 유기체 안에만 존재할 수 있는 신비로운 무엇으로 생각하기 때문입니다.

하지만 과학자로서 제가 보는 관점에서 지능은 일종의 정보 처리 과정일 뿐입니다. 기계 안에 더 나은 지능적인 정보 처리 과정을 구축할 수 없다고 주장할 물리학의 법칙은 존재하지 않습니다.

저는 MIT에서 AI 연구를 수행하는 물리학자의 관점에서 이 책을 썼습니다. 이런 책을 쓴 한 가지 이유는 과학자가 AI에 대해 진지하게 이야기하는 책이 있었으면 하는 바람 때문이었습니다. 어려운 기술적인 컴퓨터 용어에 발목 잡히는 일 없이 근본적인 원리를 토대로 AI를 설명했습니다. 독자들도 우리 시대의 가장 중요한 대화에 참여하기 위한 준비를 할 수 있게 썼습니다.

또 다른 이유는 지금까지 씌어진 AI 관련서 대부분이 위험과 문제점에 초점을 맞춘 것들이었습니다. 할리우드 영화도 AI의 긍정적인 면보다 부정적인 측면에 관심을 쏟게 만드는 경향이 있습니다. 영화를 볼 때마다 뭔가 끔찍한 일이 벌어지는 것을 이야기합니다.

하지만 진실은 AI야말로 대단히 긍정적인 것일 수 있고, 또 그래야만 합니다. 만약 우리가 기계 지능과 더불어 우리 인간 지능을 증폭시킬 수 있다면 생명이 전례 없이 번창하도록 도울 기회를 얻을 수 있을 겁니다. 저는 AI로부터 기대할 수 있는 긍정적인 것들에 초점을 맞춘, 보다 희망적인 책을 쓰고 싶었습니다.

네. 제 책이 논의의 분위기를 바꿀 수 있었으면 좋겠습니다. 제 책의 제5장에서 기술 발전과 더불이 사회가 어떻게 변할 수 있을 것인가를 두고 12가지 사고실험을 소개한 이유도 그것 때문입니다. 우리가 갖게 되는 기술을 가지고 어디로 가고 싶은지에 대해 사람들이 생각하기 시작하는 일이 대단히 중요하다고 봅니다.

우리는 오만(hubris)을 경계해야 합니다. 인간이 존재할 수 있는 최고의 지능을 가진 존재라는 사실을 당연시하는 태도 말입니다. 불과 수년 전만 해도 많은 사람들이 바둑에서 기계가 인간을 이길 수는 없을 거라고 생각했음을 상기할 필요가 있습니다. 어떻든 우리는 특별하다고 생각했기 때문입니다. 실제로는 그런 생각이 틀렸음을 확인했습니다.

바둑같이 심오하고 창의적인 게임도 사실은 정보 처리의 한 가지 방식입니다. 기계는 무엇이든 할 수 있습니다. 확실히 모든 분야에서 그렇다고 생각합니다. 책을 쓰는 과정도 원리로 봤을 때 미래에 기계가 해내지 못할 거라고 생각할 이유가 없습니다.

한국도 이제 통신위성을 쏘아올릴 수 있습니다 하지만 로켓을 다 만들고 우주로 쏘아올리고 난 후에 로켓이 어디로 향했으면 하는지를 두고 생각하기 시작하지는 않잖아요? 먼저 비전을 가져야 합니다. 그런 후에 그곳에 가기 위한 로켓을 설계하지요.

지금 AI에 대해서는 우리가 그 반대로 하고 있다고 생각합니다. 아주 아주 강력한 기술을 먼저 쌓아가고 있습니다. 그 기술로 어디를 가고 싶은지에 대한 생각은 분명히 정하지는 않은 상태에서 말지이요. 그 기술의 방향을 적절히 조종하는 법조차 모르는 상태에서 말이지요.

저는 우리가 아주 멋진 미래를 창조할 수 있다는 데 대해 낙관적입니다. 다만 갈수록 점점 힘을 더해가는 AI와, 그것을 다루는 지혜의 성장 간의 경주에서 우리가 이길 수 있다는 전제에서 말입니다. 그런 일이 자동적으로 일어나지는 않을 겁니다. 그러기 위해서는 우리가 사전에 계획하고 열심히 노력해야만 합니다.

가령, 우리는 이미 컴퓨터가 마비되는 것(computer crashing)을 경험해본 적이 있습니다. 많은 사람들이 컴퓨터가 해킹되는 경험을 합니다. 그럼에도 불구하고 우리는 우리가 의존하는 물리적 인프라의 점점 더 많은 부분을 AI 시스템에게 맡기고 있습니다. AI가 우리 차량을 운전하게 하고, 항공기의 운항을 맡기고, 전력 그리드의 통제를 맡깁니다.

이런 상황을 감안하면 우리는 AI 안전에 관한 연구에 더 많은 힘을 쏟아야 하고, 현재 버그나 해킹에 취약한 컴퓨터를 어떻게 하면 온전히 신뢰할 수 있는 AI 시스템으로 바꿔나갈 수 있을지를 알아내야 합니다.

AI 시스템을 우리가 신뢰할 수 있는 것으로 만들지 못한다면, 즉 튼튼하면서 해킹이 불가능하도록 만드는 법을 알아내지 못한다면, 우리가 구축하게 될 모든 최고의 기술은 우리에게 반대로 해악을 초래하도록 돌변할 수 있습니다.

따라서 가장 관심을 가져야 할 것은 정확히 무엇이 일어날 것인가에 대해 상상만 하는 것이 아니라 "상황이 좋게 진행되도록 할 가능성을 높이기 위해 지금 우리가 할 수 있는 것이 무엇인가"를 묻는 일이라고 생각합니다.

저는 이곳 MIT에서 물리학과에 소속된 교수로 있습니다. 하지만 지난 몇 년 간 저의 연구는 AI에 관한 것이었습니다. 저는 늘 가장 큰 질문에 매료돼 왔습니다. 10대 소년이었을 때 가장 큰 수수께끼 두 가지는 저 밖에 있는 우주와 이 안에 있는 우리 자신의 우주였습니다. 우리 마음(mind) 말입니다.

네. 첫 번째 수수께끼에 관해서는 저의 첫 책 안에다 재미있는 내용을 많이 담았습니다. 이번 책이 두 번째 수수께끼에 관한 것입니다. 어떤 점에서는 지금 이 문제가 과학에서 남아 있는 가장 큰 수수께끼라고 생각합니다. 지능의 신비, 의식의 신비 말이지요. 이 문제는 공부를 해볼 만한 대단히 소중한 신비입니다. 생명의 행복한 미래를 위한 열쇠이기 때문입니다.

이곳 MIT 동료들은 대체로 격려를 많이 해줬습니다. AI가 멋진 연구 주제이고, 물리학을 위해서도 AI를 활용할 수 있는 방법이 많다고 생각하기 때문입니다. 우리 학과의 다른 많은 교수들도 이 방향으로 더 많이 옮겨가고 있는 중입니다. 많은 학생들도 이 분야에서 연구하고 싶어합니다.

실제로 초지능 기계를 만들게 된다면, 그 기계는 세계를 장악하기 위해 제가 제시할 수 있는 것보다 더 나은 계획을 생각해낼 겁니다. 초지능 기계라는 정의 자체가 인간의 지능을 능가하는 능력을 뜻하니까요.

따라서 제가 기술한 시나리오가 미래에 일어날 일과 정확히 같을 가능성은 높지 않습니다. 하지만 우리가 초지능 기계를 만드는 데 성공할 가능성은 꽤 있다고 생각합니다. 내 말을 믿지 않더라도, 세계 전역의 연구자들이 이야기하는 것을 볼 때 그렇습니다.

물론, 이것은 논쟁거리입니다. 그런 일은 결코 일어나지 않을 거라거나 수백 년이 걸릴 거라고 생각하는 연구자들도 있습니다. 하지만 소수입니다. 저는 지능을 이해하고 일반인공지능(AGI)를 구축하려는 탐구 노력이 우리 생애에 성공할 가능성이 그렇지 않을 가능성보다 높다고 생각합니다. 어떻게 하면 그것이 틀림없이 좋은 결과가 되도록 하느냐에 관해 생각하는 것이 중요하다는 뜻입니다.

제 입장은 AI 기술의 발전을 반기면서 동시에 우려하는 입장입니다. 이것은 인류 역사상 최고의 것이 될 수도 있지만 최악의 것이 될 수도 있으며, 그것을 좋은 쪽으로 만드는 것이 우리의 책임이라고 생각합니다.

반면에 우리 생애에 그런 일이 일어날 확률이 높다고 보면서 동시에 그것은 좋은 것일 수밖에 없다고 생각하는 사람들도 있습니다. 그러니 다른 가능성을 걱정해서 별도의 노력을 기울일 필요가 없다고 보는 입장입니다.

마지막으로 그런 초지능 AI는 결코 생겨나지 않을 거라고 생각하는 사람들입니다. 혹은 적어도 예상가능한 미래에는 일어나지 않을 일이니 너무 걱정할 필요가 없다는 입장입니다.

네 정확히 그렇게 썼습니다. 저는 지능을 단순하게 목적을 달성하는 능력이라고 정의합니다. 가령, 알파고는 바둑에서 이세돌을 이겨야 한다는 목표가 있었습니다. 이세돌 역시 마찬가지였습니다. 둘은 서로 상충된 목표를 가졌지요. 알파고가 이겼습니다. 바둑에 관한 한 알파고의 지능이 뛰어났기 때문입니다.

그렇게 봤을 때 우리로서는 우리 자신의 목표와 더 지능적인 기계의 목표가 충돌하는 상황에 처하는 것을 원치 않을 겁니다. 그럴 경우 우리는 곤란에 직면할 것이기 때문입니다.

지능이 더 뛰어난 존재들이 존재한다는 것 자체는 문제가 아닐 수 있습니다. 실은 우리 모두가 그런 것을 이미 경험했습니다. 우리가 아이였을 때, 우리 부모는 우리보다 더 지능적이었을 때 말입니다.

그 경우엔 부모님의 목표가 우리의 목표와 잘 맞춰져 있었기 때문에 아무 문제가 없었습니다. 부모님은 우리를 도우고 싶어했습니다. 하지만 우리가 우리보다 더 강력한 주체를 만들 때는 이 점에 있어서 주의해야만 합니다.

지능 기계가 우리 목표를 학습하도록 만드는 방법을 찾아내는 것이 대단히 중요합니다. 인간은 때때로 다른 동물들을 좋지 않게 대하곤 합니다. 그들의 목표와 우리의 목표가 조화롭지 않기 때문입니다. 우리가 특별히 사악해서가 아니지요.

우리가 숲의 나무를 베고 결과적으로 그곳에 사는 동물들을 몰아낸 것은 그 동물들을 미워해서가 아니라 그곳에 있는 목재가 우리에게 필요했기 때문입니다. 하지만 그곳에 살던 동물들로서 너무나 안된 일이지요. 장차 우리가 그런 상황에 처하도록 바라지는 않을 겁니다.

실제로 이 문제에 관해 흥미로운 연구들이 진행되고 있습니다. 하지만 나는 한국이나 미국 같은 각국 정부들이 이 문제에 더 많은 자금을 지원해야 한다고 생각합니다. AI를 더 강력하게 만들기 위한 연구뿐만 아니라 안전에 관한 연구에도 말이지요.

한국 정부가 원자로의 안전에 관한 연구는 도외시한 채 원자로 연구에만 지원하지는 않을 겁니다. 똑같이 AI 안전에 관한 연구도 AI 연구의 자연스러운 일부가 돼야만 합니다.

알파고 제로는 AI의 빠른 발전 속도를 보여주는 사례입니다. 알파고는 수없이 많은 인간 고수들의 바둑 시합을 토대로 훈련하고 학습한 끝에 이세돌을 4대 1로 이겼습니다. 거기서 더 좋아졌습니다.

알파고 제로는 한 발 더 나아가 3000년에 이르는 인간의 바둑 역사, 수백만 회에 이르는 대국, 교본, 그 모든 것을 무시했습니다. 백지 상태에서 사흘 동안 자신을 상대로 시합을 반복한 끝에 구식 알파고를 100대 0으로 이겼습니다.

AI의 발전 속도가 이 정도라는 사실은 AI 안전 연구도 그만큼 빨라져야 한다는 것을 뜻합니다. 그래야 기술의 점증하는 힘과 그것을 관리하는 우리의 지혜 사이의 경주에서 우리가 이길 수 있을 것이기 때문입니다. 이런 지혜에 초점을 맞추는 것은 이제 다급한 일이 되었습니다.

동시에 AI의 발전은 희망을 주기도 합니다. 가령, 최근에 병원에 있는 친구를 방문했습니다. 그녀는 불치의 암을 앓고 있다고 했습니다. 하지만 '불치(incurable) '라는 게 무슨 말일까요? 물리학에서 '치료가 불가능하다'는 법칙이라도 있다는 뜻일까요? 아닙니다. 사람들이 불치라고 말할 때는 단지 지금 그것을 치료할 방법을 알아낼 만한 지능을 우리가 갖고 있지 못하다는 뜻일 뿐입니다.

저는 지금 우리가 불치라고 보는 모든 질병을 치료할 수 있도록 AI가 도울 수 있을 거라고 확신합니다. 불치병 때문에 사랑하는 사람을 잃은 사람들에게 이것은 대단히 가치 있는 일일 겁니다.

마찬가지로 오늘날 세계가 당면한 여러 큰 문제들을 봤을 때, 우리는 지금 그 문제들을 풀 수 있는 방법을 알아낼 정도로 똑똑하지 않습니다. AI는 이런 문제를 해결하는 데 도움을 줄 수 있을 것입니다. 다만 우리가 현명하게 사용하도록 만전을 기할 수만 있다면 말이지요.

인간의 지도가 전혀 필요 없었다는 뜻입니다. 사람이 알려준 것은 바둑의 시합 규칙이 유일합니다. 그리고 시합에서의 승리라는 목표지요. 그게 전부입니다. 똑같은 방식으로 주식시장에서 가능한 많은 돈을 버는 것을 목표로 삼는 기계도 만들 수 있다고 상상할 수 있습니다.

인간의 가르침은 필요 없이 데이터를 가지고 학습하는 것만으로도 충분합니다. 데이터를 관찰하는 것만으로도 학습이 가능하다는 뜻입니다. 인간의 아이들을 보세요. 학교에 가기도 전에 아이들이 혼자 배울 수 있는 것들을 보면 알 수 있습니다.

네, 그렇습니다. 우리는 그 목표가 우리에게 좋은 것이 되도록 확실히 담보할 수 있어야 합니다. 따라서 우리가 자신에게 물어야 할 첫 번째 질문은 AI를 가지고 우리가 만들고 싶어하는 미래가 어떤 것이냐는 것입니다.

물론 우리는 질병을 치료할 수 있고 빈곤을 근절할 수 있고 우리의 기후를 보호할 수 있는 미래를 만들고 싶어한다고 생각합니다. 또 평화롭고 조화로운 세상을 바란다고 생각합니다.

이런 문제는 저 같은 기술적 연구자들에게만 맡겨질 수는 없는 대화입니다. 모두가 참여해야 하는 대화입니다. 사회를 행복하게 만드는 것은 AI 연구자들의 전문 분야가 아니기 때문입니다. 모두의 미래가 걸린 문제입니다. 우리가 그것으로 뭘 원하는지 다같이 생각해야만 합니다.

기술이 좋거나 나쁜 것은 아니라는 사실을 기억하는 것이 중요합니다. 기술은 인간이 가진 능력의 증폭기일 따름입니다. 사람들이 가끔 제게 묻습니다. AI에 찬성하느냐 반대하느냐고 말이죠. 저는 반문합니다. 당신은 불에 대해 찬성하느냐 반대하느냐고. 물론 불에 대해 찬성한다고 답합니다. 추운 겨울에 우리를 따뜻하게 해주니까요. 하지만 방화범의 불에 대해서는 반대합니다.

마찬가지로 지능 자체는 좋거나 나쁜 게 아닙니다. 지능은 목표를 달성하기 위한 능력일 뿐입니다. 만약 히틀러가 더 지능적이었다면 AI가 더 낫게 쓰이지 않았을 겁니다. 기술도 똑같습니다. 기술의 힘이 커질수록 그것이 좋은 목적에 사용되도록 보장할 수 있는 방법에 대해 생각하는 것이 점점 중요해진다는 뜻일 뿐입니다.

우리의 이제 전략을 바꿔야 합니다. 과거에는 기술을 이롭게 쓰이도록 하는 데 사용한 전략은 언제나 실수를 통해 배우는 것이었습니다. 아시다시피 우리는 불을 발명했지만 끔찍한 사고를 겪고 난 후에야 소화기를 발명했습니다. 자동차를 발명했지만 끔찍한 교통사고를 겪은 후에야 안전벨트를 발명했고 에어백과 신호등을 발명했습니다.

하지만 가령, 핵무기처럼 더욱 강력해진 기술을 가지고서는 실수를 통해 배우려들지는 않을 겁니다. 우발적인 핵전쟁을 겪고 난 후에야 실수에서 뭔가 배우려들지는 않을 겁니다. 미리 계획하고 처음부터 올바로 운영되도록 하는 것이 훨씬 낫습니다.

초지능의 경우에는 절대적으로 실수를 통해 배우고 싶지는 않을 겁니다. 처음부터 제대로 해야 합니다. 아마도 유일한 기회가 될 것이기 때문입니다.

어떤 사람들은 너무 겁을 주지 말라고 합니다. 하지만 괜한 겁주기가 아닙니다. 이곳 MIT에서는 안전 공학이라고 부르는 분야가 있습니다. 기술이 발전하는 과정에서 잘못 될 수 있는 것을 올바로 가게 하는 방법을 연구합니다.

결코 과장이 아닙니다. 첫째, 구글의 딥마인드 경영진을 예로 들어 볼까요. 이 회사의 목표는 지능의 문제를 푸는 것입니다. AI가 인간이 할 수 있는 모든 것을 할 수 있게 하는 거지요. 그것이 이 회사의 목표이고, 지금까지 아주 성공적입니다. 알파고를 만들었죠. 이 말이 과장됐다고 일축하는 사람들은 지금 과학을 통해 실제로 어떤 일이 일어나는지에 대해서는 잘 모르는 경우가 많다고 생각합니다.

두 번째, 이런 경고가 AI 발전을 저해한다는 주장은 사실과 다릅니다. 지난 수년 간 연구 공동체 내부에서 AI의 위험에 관한 이야기가 꽤 많이 있어 왔습니다. 그럼에도 불구하고 이 분야는 발전 속도가 점점 더 빨라져 왔지 느려지진 않았습니다. 안전에 대한 이런 논의가 이 분야에 해를 끼친다는 증거는 없습니다.

오히려 상황은 그 반대라고 생각합니다. 역사를 통해 배울 수 있는 사실은, 우리가 강력한 기술을 가지게 되면서도 그것이 초래할 위험에 대해서는 충분히 진지하게 논의하지 않았을 때 오히려 그 분야에 해를 미쳤다는 것입니다.

민간 원자력 사업 분야를 볼까요. 많은 사람들이 원자력의 위험에 대해서는 쉬쉬했습니다. 결국 스리마일 섬, 체르노빌, 후쿠시마 사고와 같이 실제로 일어난 일들은 원자력 사업에도 나쁜 결과를 초래했습니다.

그런 일이 일어난 것은 사람들이 위험에 대해 이야기했기 때문이 아니었습니다. 사람들이 미리 경고에 더 주의를 기울이고 현명하게 설계를 했다면 원자력 산업의 상황도 지금보다 훨씬 나았을 겁니다.

AI도 마찬가지입니다. AI로 인해 일어날 최악의 상황은 누군가가 정말 어리석은 일을 저질러 역풍을 초래하는 경우가 될 것입니다.

우선, 그런 설명을 써놓은 이유는 바로 지능과 의식이 피와 살(=인간의 신체)에만 국한될 필요가 없다는 사실을 사람들이 이해하는 데 도움이 됐으면 하는 생각에서였습니다.

기억은 정보를 저장합니다. 어떤 물리적 대상도 정보를 저장할 수만 있다면 기억 장치가 될 수 있습니다. 제가 끼고 있는 이 금반지에 아내의 이름을 새겨 넣으면 내년에도 그대로 있을 겁니다. 그런 뜻에서 이 역시 기억 장치입니다.

이제 우리는 기억 자체가 신비한 것이 아니며 꼭 두뇌에만 한정되는 것이 아니라는 생각에 아주 익숙해져 있습니다. 컴퓨터도 기억할 수 있으니까요. 계산(컴퓨테이션)이란 물리적 시스템이 어떤 한 가지의 기억과 상태를 다른 것으로 변형시키는 방식입니다. 우리는 컴퓨터가 계산(컴퓨트)할 수 있다는 생각에 익숙해져 있습니다.

알파고 제로는 심지어 학습도 두뇌 밖에서 이뤄질 수 있다는 사실을 우리에게 보여줍니다. 어떤 인간도 알파고 제로에게 바둑을 그렇게 잘 두는 법을 가르치지 않았습니다. 알파고 제로 혼자 학습했습니다.

제 생각엔 의식도 마찬가지입니다. 그것은 원리에 있어서 굳이 생물학적 존재에만 국한되는 것이 아닙니다. 인공(기계의) 의식도 충분히 상상할 수 있다고 생각합니다. 의식은 특별한 종류의 정보 처리 과정입니다.

현재로서는 주관적 경험이 존재하기 위해 어떤 종류의 정보 처리 과정이 필요한지 정확히는 알지 못합니다. 만약 내가 도로 위로 차를 몰고 간다고 치면 숱한 색깔과 소리, 진동, 감정을 경험합니다. 자율주행차는 어떨까요? 차가 뭔가를 경험하는 걸까요? 이건 의식에 관한 큰 수수께끼입니다.

어떤 과학자들은 말합니다. "물론, 차도 경험한다. 왜냐 하면 의식이란 지능과 같은 것이기 때문이다." 다른 과학자들은 이렇게 말합니다. "당연히 아니다. 기계는 절대로 의식이란 게 있을 수 없기 때문이다." 저를 포함한 제 3의 집단은 어떤 정보 처리 과정은 의식적이지만 어떤 것은 아니라고 봅니다.

우리 자신의 뇌를 봐도 그렇습니다. 뇌 안에서 일어나는 대부분의 정보 처리 과정은 실제로는 의식적이지 않습니다. 심장을 조절하는 것만 해도 그렇습니다. 심지어 사진을 볼 때도 그래요. 만약 당신이 이 사진을 보고서는 "와, 이거 아인슈타인이네"라고 했을 때도 이 과정은 사실 아주 복잡한 계산을 깔고 있습니다.

컴퓨터로 치면 엄청난 양의 컴퓨터 코드를 필요로 하지요. 하지만 우리는 실제로 우리가 어떻게 그런 계산을 했는지는 모릅니다. 단지 사진을 보고 어떤 계산으로부터 답을 얻지만 계산 과정 자체는 무의식적으로 이뤄질 뿐이지요.

우리는 그런 과정이 뇌의 어디에서 이뤄진다는 것까지 압니다. 모두 7가지 단계를 거칩니다. 눈의 망막에서부터, 뇌의 중간 지점에 있는 외측슬상체(lateral geniculate nucleus)를 거쳐, 시각 피질의 V1과 V2, 방추상 얼굴 영역(fusiform face area)으로 갑니다. 이런 정보 처리 과정은 무의식적인 것입니다.

뇌에서 의식적으로 일어나는 정보 처리 과정은 실제로는 빙산의 일각에 불과합니다. 하지만 가장 중요한 것이기도 합니다. 그것이 우리 삶에 의미와 목적을 주기 때문입니다. 즉 우리가 '경험'을 할 수 있게 합니다. 이 문제에 대한 연구가 너무나 중요하다고 생각하는 이유입니다.

저의 이곳 연구 그룹에서 이런 연구를 하고 있습니다. 미래에 우리가 가정에 아주 지능적인 도우미 로봇을 두게 됐을 때, 그것이 실제로 의식적인 경험을 하는 존재여서 우리가 스위치를 끄려고 하면 죄책감을 느끼게 될지, 아니면 그저 좀비에 불과할지 알아보는 것은 근사한 일일 겁니다.

서두에서 이야기했듯이, 대부분의 사람들은 지능에 대해서 뭔가 신비한 것이 있다고 생각합니다. 오직 생물학적 유기체에만 존재할 수 있다고 보는 거지요. 하지만 물리학자로서 지능은 물리 법칙에 따라 움직이는 쿼크와 전자에 의해 수행되는 일종의 정보 처리 과정입니다.

내 두뇌는 내 랩탑과 똑같은 종류의 쿼크와 전자로 이뤄져 있습니다. 지능을 만드는 것은 당신이 가지고 있는 입자의 종류가 아니라 그것들이 정렬되는 패턴입니다. 그게 전부입니다.

우리가 지금 초지능을 갖지 못하는 이유는 원리에 있어서 불가능해서가 아닙니다. 우리 인간이 아직은 그것을 만드는 방법을 알아낼 만큼 충분한 지능을 갖지 않고 있기 때문입니다.

어떤 사람들은 의식이 아무것도 아니라고 말합니다. 넌센스입니다. 저는 강하게 반대합니다. 유발 하라리도 자신의 책에서 이렇게 말했지요. 의식이 넌센스라고 하는 사람에게, 경험에 대한 언급 없이 고문이나 강간이 뭐가 문제인지 설명해보라고 해보라. 그럴 경우 할 수 있는 말이라고는 전자와 쿼크가 이렇게 저렇게 움직이는 것인데, 뭐가 잘못이란 말인가, 라고 할 수밖에 없을 것입니다.

우리가 믿는 모든 도덕성이라든지, 선악의 문제, 모든 목적과 의미에 관한 이야기는 경험으로서만 의미가 있습니다. 따라서 무엇이 경험을 야기하는지 이해하는 것은 대단히 중요합니다. 기계가 그런 경험을 가질 수 있는지에 대해서도 마찬가지입니다.

네. 맞습니다. 그 점이 아주 중요하다고 생각합니다. 앞에서 우리 시각 체계의 예를 이야기한 것도 그런 이유에서입니다. 우리 뇌에서 일어나는 지능의 상당 부분은 우리가 파악할 수 있는 한 의식적이지 않습니다. 그것에 대해 우리는 의식하지 못합니다. 그냥 일어날 뿐이지요.

의식은 우리 뇌 안에서 일어나는 과정으로 치면 일종의 빙산의 일각일 뿐입니다. 그 말은 지능이 의식과 같지 않다는 것 이상의 의미가 있습니다. 알파고는 의식이 있었을까요? 나는 모릅니다. 그걸 알아내는 것은 흥미로운 일일 겁니다.

궁극적인 비극은 우리가 장차 자랑스러워할 만한 미래의 AI 후손들을 만들어냄으로써, 앞으로 수십억 년 동안 지구상에는 물론 우주 멀리까지 멋진 일들을 하게 하더라도, 정작 그 AI가 사실은 아무런 의식은 갖고 있지 않은 상황이 될 수도 있다는 겁니다.

그렇게 되면 온 우주가 의미라고는 없는 상태로 되돌아가고 마는 거지요. 거대한 공간 낭비가 됩니다. 제 생각에 그런 상황은 궁극의 좀비 묵시록이 될 겁니다.

네. 영광스럽게 생각합니다. 저 역시 그의 책을 좋아하는 팬입니다. 사피엔스와 호모 데우스 둘 다 아주 좋았습니다.

대단히 강력한 기술입니다. 엄청난 결과를 가져올 겁니다. 하지만 제 생각에는 생명공학보다 AI 기술이 훨씬 더 빠르게 큰 충격을 줄 것 같습니다. 초지능에 이르는 가장 빠른 길은 생물학적인 경로가 아니라 비생물학적인 하드웨어를 통한 것이 될 것이기 때문입니다.

둘 다 관심을 기울여야 한다고 생각합니다. 누군가 생명공학을 이용해 지구 전역에 유행병을 확산시킬 경우에도 끔찍한 일이 될 것이기 때문입니다. 이 문제 역시 심각하게 생각해야 합니다.

하지만 초지능에 이르는 가장 빠른 경로는 생물학적으로 인간을 공학적으로 개조해서 더 똑똒하게 하는 것이 아니라 초지능 기계를 만드는 방법이라고 생각합니다. 제 책에서 설명한 대로, 우리 뇌가 어떻게 작동하는지 알아내는 일이, 처음부터 지능적인 무엇을 만드는 것보다 더 오래 걸릴 겁니다.

가령, 비행에 대해 생각해볼까요. 사람들은 수천 년 전에 하늘의 새를 보면서 어떻게 나는지 알아내면 좋겠다고 생각했습니다. 하지만 새들이 어떻게 해서 나는지 알아내는 것은 대단히 어려운 것으로 드러났습니다.

기계 새에 관한 TED 강연을 본 적이 있으세요? 독일팀이 실제로 기계 새를 만들었는데 아주 근사해요. 하지만 비행기가 처음 제작된 후 100년이 지나서야 나왔지요. 서울에서 올 때 기계 새를 타고 오지는 않지요. 비행기로 오는 것이 더 쉽고 더 나은 방법이라는 걸 이제 아니까요.

초지능도 그와 마찬가지가 될 겁니다. 가장 쉬운 방법은 생물학적인 방법이 아닐 겁니다. 생물학적으로 뭔가를 만들려고 할 경우엔 이미 자기 조립과 자기 수선이 가능한 것을 만드는 것에만 국한됩니다.

반면에 보잉 747 같은 기계를 만들 때는 그런 것에 별로 신경 쓰지 않습니다. 우리가 직접 만들 수 있으니까요. 우리 뇌는 생각보다 훨씬 더 복잡합니다. 아주 아주 다양한 종류의 뉴런을 갖고 있습니다. 반면에 가령 알파고 제로는 한 가지 종류의 뉴런만 갖고 있습니다. 그것으로 충분합니다.

가령, 스티븐 호킹 박사의 경우 그의 생각과 외부 세계의 사이를 오가는 더 빠른 인터페이스를 갖게 된다면 아주 좋겠지요. 거의 꼼짝을 못하는 상태에 있는 그로서는 아주 흥미로운 주제일 수밖에 없겠지요. 하지만 인터페이스를 아무리 좋게 만든다고 해도 인간 두뇌는 크기에서 한계를 가질 수밖에 없습니다. 우리가 태어날 때 엄마의 산도의 제약을 받기 때문이지요.

우리 뇌는 생물학적인 뉴런이어서 초당 1000회 가까운 속도로 신경이 발화합니다. 반면에 컴퓨터는 초당 10억 회 작동할 수 있고, 크기도 원하는 만큼 커질 수 있습니다. 따라서 생물학적 지능은 장기적으로 봤을 때 인공지능과 경쟁이 될 수 없다고 생각합니다.

우리가 추구해야 할 궁극의 목표가 어떤 방정식을 통해 도출될 수 있고, 그것을 AI에 입력할 수 있을 거라는 생각을 비판했습니다. 우리 인간이 그 방정식에 대한 해답이라고 생각하지 않습니다. 우리야말로 역사적인 사건(accident)이라고 생각합니다. 그것에 대해 대단히 감사해야 합니다. 축하해야 합니다. 그리고 우리는 AI 시스템이 어떤 종류의 목표를 갖기를 원하는지 자문해야 합니다.

초지능 AI에 목표를 부여하기 전에 우리가 어떤 것을 목표로 삼을지 알아야 한다는 말입니다. 이것은 거대한 철학적 논쟁거리입니다. 온 인류의 미래를 결정지을 것이기 때문입니다. 우리가 사회 전체의 관점에서 이 질문에 답할 수 없다면 AI의 목표는 테크 기업에 있는 소수의 사람들에 의해 결정될 것입니다.

맞습니다. 당연히 아주 큰 문제입니다. 다만, 우리가 기계와 벌이는 지혜의 경주에서 승리해야 한다고 말할 때 뜻한 것은 기본적으로 이런 겁니다. 즉 기술이 실행하는 것은 우리가 바라는 것이 무엇이든지 그대로 수행할 수 있는 힘을 증폭시킨다는 겁니다.

석기 시대에 사람들은 아주 다른 목표를 가졌습니다. 그때는 그들이 보유한 가장 강력한 기술이 바윗돌이었던지 몽둥이였던지 큰 문제가 되지는 않았습니다. 때때로 문제가 되기는 했겠지만 결과가 제한적이었습니다.

하지만 지금 우리는 유례 없이 강력한 기술을 만들고 있는 상황에서 이 기술을 가지고 어떤 목표를 향해 나아갈 것인지 알아내는 것은 너무나 중요해지고 있습니다. 유치원에 가서 수류탄 상자를 주면서 가지고 놀라고 하지는 않을 겁니다.

물리학자들은 핵무기를 세계의 정치인들에게 준다고 했을 때, 마치 수류탄을 유치원생들에게 건네는 것과 흡사하다고 느꼈습니다. 그 기술을 현명하게 관리할 지혜가 없었으니까요. 그런 실수를 AI에서 반복하지 않기를 바랍니다.

그 문제에는 네 가지가 있습니다. 즉 어떻게 기계가 우리의 목표를 이해하고 채택하고 계속 유지할 것이냐의 문제입니다. 마지막 네 번째 질문은 우리가 우리 미래를 위해 무엇을 목표로 삼을 것이냐는 겁니다.

흔히 초지능 AI를 만들기만 하면 많은 문제가 해결될 걸로 생각합니다. 하지만 지능 자체는 자동적으로 선할 수가 없습니다.

만약 우리가 자녀를 우리보다 더 똑똑하게 자라도록 양육한다면, 그렇게 해서 자란 자녀가 우리를 더 잘살 수 있도록 돕는다면, 우리가 꿈으로만 그릴 수 있던 멋진 일들을 계속해서 할 수 있다면, 우리는 자녀들에 대해 자부심을 느끼게 될 겁니다. 하지만 그 대신 우리가 가령, '넥스트 김정은' 같은 자녀를 길러낸다면 아마도 결과는 달라질 겁니다.

부모로서 우리는 우리의 자녀를 잘 교육시키는 것이 대단히 중요합니다. 지능 기계의 경우도 마찬가지입니다. 우리가 자녀를 잘 기른다는 말은 무슨 뜻일까요? 우리가 좋은 것이라고 느끼는 목표를 그들이 확실히 받아들이도록 하는 것을 말합니다.

만약 미래에 당신이 자율주행차에게 가능한 빨리 공항으로 데려다 달라고 지시했을 때, 차량이 물불 가리지 않고 목적지까지 질주한 나머지 상공에는 헬기가 쫓아오고 당신은 멀미로 구토물을 뒤집어쓴 채 공항에 도착한 후에야 "아냐, 내가 원한 것은 이런 게 아니라구!"라고 해봐야 소용 없습니다. 기계는 "분명히 당신이 지시했던 것..."이라고 답할 겁니다. 그런 뒤에야 당신은 기계에게 당신의 목표를 정확히 이해하도록 하는 것이 얼마나 어려운지 이해하게 될 겁니다. 뒤늦게야 말이지요.

우리가 자녀를 키우다 보면, 아이에게 우리의 목표를 이해시키는 것과, 실제로 우리 목표를 제대로 채택하고 우리가 바라는 대로 실행하게 만드는 것 사이에는 얼마나 큰 차이가 있는지 알 수 있습니다. 이런 문제는 기계를 다루는 데 있어서도 대단히 어려운 것이 될 것입니다. 그만큼 아주 중요합니다.

우리 아이들만 봐도 커가면서 목표가 많이 변합니다. 어릴 때는 레고만 갖고도 신이 났지요. 지금은 따분하게 여깁니다. 처음에는 기계가 인간을 돕는 일에 아주 열성을 발휘하도록 만든다고 해도 기계가 점차 어떤 이유에서건 그 목적에서 벗어나는 것을 바라지는 않을 겁니다.

이처럼 아주 중요한 질문들이 많습니다. 저는 이것을 AI 안전 연구의 질문들이라고 부르는데, 이것들은 푸는 것은 아주 어렵고 해결하는 데 수십 년은 걸릴 겁니다. 그래서 우리가 지금 그런 문제에 대한 연구를 시작하는 것이 중요하다고 주장하는 이유입니다. 어느 누군가가 초지능의 스위치를 켜기 전날 밤에야 그런 일을 시작해서는 곤란하다는 거지요.

AI가 올바른 목표가 무엇인지 알아내도록 한다는 말은 우리 자신을 속이는 일입니다. 우리 인간이 자신에게 어떤 미래를 원하는지 자문해야 한다고 생각합니다. 미래를 만드는 것은 바로 우리이기 때문입니다.

네, 그렇지요. 하지만 우리가 인간이라는 데 대해 자부심을 갖게 하는 것이 무엇인지 생각해보면 어떨까요. 단지 하루하루 생존할 수 있다는 사실은 아닐 겁니다. 달팽이도 그렇게 할 수는 있습니다. 우리 인간을 가장 아름답게 독특한 존재로 만드는 것은 우리가 고개를 들어 더 큰 그림에 대해 생각해볼 수 있다는 것이라고 생각합니다.

염원과 꿈, 먼 목표를 갖는 거지요. 저는 우리가 단지 생존의 차원을 넘는 더 큰 포부를 가져야 한다고 생각합니다. AI가 운영하는 동물원에서 우리에게 공급되는 것을 먹고 따뜻하게 지내는 존재 이상의 목표를 가져야 한다고 생각합니다.

그럼에도 오늘날 많은 사람들에게는 생존 자체가 이미 도전이라는 큰 문제가 있다는 슬픈 사실을 압니다. 하지만 저는 생존이 우리의 최종 목적이 되어서는 안 된다고 생각합니다. 생존해야 하지만 그 이상을 추구해야 합니다.

맞습니다. AI에게 아주 야심찬 목표를 부여할 경우 자신이 파괴되는 것을 방지하기 위해 우선 하위 목적을 설정하게 될 겁니다. 자신이 파괴되면 목표를 달성할 수가 없으니까요. 그리고 목표를 달성하는 데 필요한 자원을 최대한 많이 확보하려 들 겁니다. 그리고 그 목표를 달성하기 위해, 세계가 작동하는 방식에 대해 학습을 하는 과정에서 호기심이 커지게 될 겁니다.

이 말은 우리가 아주 지능적인 존재에게 열린 목표를 부여할 때는 아주 조심해야 한다는 뜻을 의미합니다. 그것을 달성하기 위해 설정되는 하위 목표가 우리에게 문제를 야기하는 일이 없도록 하는 것이 중요합니다.

다시 말하지만, 우리 인간이 그동안 지능이 열등한 존재-다양한 동물들에게 어떤 식으로 문제를 초래했는지 생각해보면, 우리가 갖고 있던 하위 목표들이 그들과 충돌했기 때문이었습니다.

우리로서는 더 많은 종이가 필요했고, 근사한 신문을 찍어야 했을 뿐이지만, 그 과정에서 숲의 나무들이 베였고 그곳에 살던 동물이 피해를 봤습니다. 원래 목표는 아주 고상한 것이었지만 결과는 식물과 동물에게는 참혹했습니다.

의식이 없다면 기쁨도 즐거움도 의미도 목적도 있을 수 없을 겁니다. 다시 말하지만 제 책이 목표에 대한 답을 주는 것은 아닙니다. 질문과 생각에 대한 책입니다. 물론 앞의 말도 괜찮은 생각이라고 생각합니다. 아마도 우리는 역사적으로 (우발적) 사건인지도 모르지만, 어찌 됐건 우리는 우주가 더욱 더 깨어나서 살아 숨쉬도록 도울 수 있는 엄청난 기회를 갖고 있습니다.

바로 이 순간 우리 우주의 대부분은 죽은 상태로 조용히 있지만, 지구에 있는 우리가 지혜롭게 행동한다면 생명이 더 확산되는 것을 도울 수 있습니다. 수십억 년 동안 지구에서뿐만 아니라 우리 우주의 많은 곳에서도 번성할 수 있도록 말이지요. 그것은 아름다운 일이 될 것입니다. 책 제목을 '라이프 3.0'이라고 붙인 것도 그런 이유에서입니다.

트랜스휴머니즘은 우리의 생물학적 삶이 생명의 점진적인 진화 과정에서 단지 하나의 걸음에 불과하다는 생각이지요. 생물학적인 것과 기술적인 것 간의 경계도 불분명하다고 봅니다. 누군가 인공 무릎을 갖고 있다면 트랜스휴머니즘일까요? 어떤 사람이 달팽이관을 이식받아서 그전에는 들을 수 없던 것을 들을 수 있게 된다면 어떨까요?

이런 것들은 기술을 통해 우리가 좋다고 보는 방식으로 우리의 능력을 증강시킬 수 있는 분명한 사례들이라고 생각합니다. 우리가 바라는 대로 되도록 돕는 거지요. 지금의 스마트폰처럼, 기술이 꼭 우리에게 물리적으로 연결되지 않더라도 능력을 증진하는 데 도움을 줄 수 있습니다.

앞으로도 우리가 되고 싶어하는 대로 좀 더 가깝게 될 수 있도록 기술과 융합되는 방법을 찾아낼 수 있을 거라고 생각합니다. 또한 우리와는 완전히 분리된 미래의 AI 시스템이나 로봇 같은 것들도 상상할 수 있을 겁니다.

그는 트랜스휴머니즘을 생명의 자연스러운 미래라고 봅니다. 그런 사람들이 많습니다. 제가 책에서 디지털 유토피언이라고 부른 사람들은 인공적인 생명을 우리가 열망해야 하는 자연스러운 미래로 볼 뿐만 아니라 그런 방향으로 나아가는 것을 기정사실로 생각합니다.

다만 레이 커즈와일은 좀 더 복잡한 입장입니다. 그도 인공지능이 좋게 되도록 하기 위해 노력해야 한다는 사실은 인정합니다. 그런 방향으로 나아간다고 해서 그것이 자동적으로 좋은 것일 거라고 보지는 않습니다.

저는 그가 인간의 불사(immortality)를 열망한다고 생각합니다. 언젠가는 자신을 기계에 업로드하고 싶어합니다.

물론 물리학의 법칙에 그것이 불가능하다고 말하는 것은 없습니다. 다만 그가 실제로 자신을 업로드한다면, 자신의 생물학적 신체의 스위치를 끄기 전에, 우리가 앞에서 이야기했듯이, 업로드된 자신이 실제로 의식이 있는지를 확실히해 두는 것이 좋을 거라고 생각합니다.

로봇 커즈와일이 레이 커즈와일의 겉모습과 똑같을 뿐만 아니라 말도 똑같이 한다면 레이는 불사를 이뤘다고 확신한 상태에서 자신의 생물학적 몸의 스위치를 끌 수 있을 겁니다.

하지만 이 로봇이 아무런 주관적 경험이라고는 갖고 있지 않은 좀비에 불과한 것으로 판명난다면 레이로서는 불행한 일이 될 겁니다. 주관적 자살처럼 느껴질 것이기 때문입니다. 우리가 의식의 수수께기를 풀려고 노력해야 하는 또 다른 이유이기도 합니다.

저는 기꺼이 안경을 사용하고 셀폰을 사용합니다. 하지만 그런 일에는 아주 신중할 필요가 있다고 생각합니다. 우리가 되고 싶은 사람이 되게 하는 방식으로 기술이 사용되도록 분명히 담보해 둘 필요가 있습니다.

우리가 기술을 소유해야지 기술이 우리를 장악하는 식이 되지 않도록 대단히 주의해야 합니다. 많은 사람들은 잠시 동안에도 수시로 모바일폰을 확인하느라 5분도 대화를 이어가지 못하는 걸 봅니다. 사람이 기술에 사로잡힌 형국이지요. 그렇게 되고 싶지는 않습니다.

물론입니다.

우리 자신에게 우리가 무엇을 바라는지 물어야 합니다. 그리고 원하는 방향으로 가도록 아주 적극적으로 노력해야 합니다. 산업은 당신을 행복하게 만들 유인이 없습니다. 그저 자기 상품을 많이 팔도록 동기 부여돼 있을 뿐입니다. 자본주의를 인정하는 이상 그것 자체를 문제 삼을 수는 없습니다.

하지만 우리는 소비자로서 유권자로서 우리가 소중하게 생각하는 가치를 위해 일어서야 하고 발언해야 합니다. 우리가 바라는 것이 무엇인지 생각해야 합니다. 그리고 그것을 가질 수 있도록 노력해야 합니다.

무엇보다 우선 필요한 것은 학습입니다. 자신을 교육하는 겁니다. 제가 이 책을 쓴 이유입니다. 저는 이 책에서 사람들이 실제로 무슨 일이 일어나고 있는지 보다 쉽게 파악할 수 있도록, 평소에는 사람들이 좀처럼 이야기하지 않는 초지능 같은 질문들을 다뤘습니다.

교육이야말로 힘입니다. 무슨 일이 일어나는지 더 잘 알 때 실제로 자신의 이익을 보호해주는 선택을 내릴 수 있습니다. 자기 인생과 직업 선택에 대해서도 생각할 수 있습니다. 기술과의 관계에 대해 생각할 수 있습니다. 그래야 기술이 자신을 좌우하지 않게 할 수 있습니다.

정치인들에게 AI에 대해 질문할 것을 요구해야 합니다. 지금 정치인들은 잘 모릅니다. 지난 미국 대선에서 후보로 나선 힐러리 클린턴이나 도널드 트럼프 어느 누구도 심지어 일자리에 대해 토론할 때도 AI를 전혀 언급하지 않았습니다. 유권자들이 AI에 대해 교육이 돼 있다면, 마땅히 정치인도 그래야만 할 겁니다.

우리는 정치인들이 이런 기술에 의해 생산된 부가 모든 사람의 형편이 나아지는 방식으로 쓰이도록 담보하는 방안을 마련하도록 요구해야 합니다. 그것이 무기 경쟁으로 치닫지 않도록 요구해야 합니다. AI 안전 연구에 더 많이 투자되도록 요구해야 합니다.

이런 일들은 일반 기업보다는 국가 정부에 의해 이뤄지는 것이 훨씬 낫습니다. 왜냐 하면 이런 안전에 관련된 발명들은 공개적으로 누구나 사용할 수 있도록 하는 것이 좋기 때문입니다.

어떤 미래를 원하는지 생각하고 자신의 목소리를 내지 않으면 무력한 상태를 벗어날 수 없습니다.

미래 기술이 확실하게 인간에게 이롭도록 하는 데 도움을 주기 위해 만든 비영리 기관입니다. 컨퍼런스를 조직하고 지도적인 AI 연구자들을 한데 모아 보다 강력한 AI를 만드는 방법뿐 아니라 어떻게 하면 그것이 이로운 것이 되도록 할지에 대해 논의합니다. 그런 방향으로 영향을 줄 수 있어 대단히 기쁘게 생각합니다.

일론 머스크의 출연으로 최초의 AI 안전 연구를 위한 후원금 경연대회를 시작할 수 있었습니다. 지금은 전 세계 37개 팀이 프로젝트를 연구하고 있습니다. 이것은 AI 안전 연구가 보다 주류적 관심사가 되는 데 도움이 될 겁니다.

우리가 주최한 지난 모임에서 23개 항의 아실로마 AI 원칙이 나왔습니다. 구글 딥마인드의 리더를 포함해 1천 명이 넘는 AI 전문가들의 서명을 받았습니다. 이제는 아무도 이것이 중요한 이슈이라는 사실을 부인할 수 없게 됐습니다. AI 연구 공동체도 이 문제를 진지하게 여기고 있습니다.

물론 힘들었습니다. 우리 전략은 눈덩이 효과를 사용하는 것이었습니다. 산에서 눈덩이를 굴려 내려가게 하면 점점 커질수록 키워가기가 더 쉬워집니다. 그 결과 두 번째 컨퍼런스를 열려고 했을 때는 너무나 많은 정상급 연구자들이 참석하고 싶어 해서 심지어 많은 분들에게 안된다고 답해야 했습니다.

일론 머스크는 아주 이상주의적인 사람입니다. 그를 한번 만나보면 그의 주된 동기가 돈을 버는 게 아니라 기술을 가지고 더 나은 미래를 만드는 데 있음을 알 수 있습니다. 그래서 그는 우주회사를 창업했고 보다 지속가능한 교통과 에너지를 만들기 위한 회사를 시작한 겁니다.

그가 AI로 인한 위험에 대해 목소리를 낸 것도 장기적으로 생각하기 때문입니다. 때때로 미디어는 일론 머스크를 비관주의적으로 묘사하는 기사를 쓰곤 합니다. 하지만 완전히 오도하는 겁니다. 그는 제가 아는 한 가장 낙관적인 기술론자입니다. 그는 생명이 지구 상에서뿐만 아니라 우주에서 번성하도록 하기 위한 대단한 비전들을 갖고 있습니다. 그래서 보다 장기적인 관점에서 생각하고 장기적인 도전들에 대해서도 이야기하는 겁니다.

기술이 좋게 사용될 수 있도록 하려는 공동의 목표를 위해 그와 함께 일하게 된 것은 대단한 특권이었습니다.

우리 연구소에서는 한국이나 중국, 일본 같은 아시아에서도 보다 많은 AI 연구자들을 참여시키려고 많은 애를 썼습니다. 아시아가 과학기술 측면에서도 점점 서방을 따라잡는 방향으로 가고 있다는 사실은 분명해 보입니다. 서방에서는 정치인들이 주로 예산 삭감에 대해 이야기하는 반면에 아시아에서는 투자에 대해 이야기합니다.

무엇보다 지도적인 연구자들이 협력의 문화를 공유하는 것이 아주 중요하다고 생각합니다. 서로 선두가 되려고 경주할 경우 안전 문제는 뒷전이 되고 모두가 패자가 될 수 있습니다.

하지만 궁극적으로는 낙관할 이유가 있습니다. 중국 정부만 해도 초지능에 대한 통제력을 잃지 않고 싶어합니다. 미국 정부도 마찬가지이고 한국 정부도 그럴 겁니다. 따라서 AI 안전의 문제를 먼저 풀기 위해 함께 노력할 동기가 있습니다. 저는 생명의 미래 연구소와 함께 아시아와 서방 사이에 보다 많은 접촉이 일어나도록 도울 수 있기를 바랍니다.

제가 볼 때, 가장 걱정되는 숨은 그룹이라고 한다면 군입니다. 서방의 경우 민간 기업들은 실제로 자신들의 연구에 꽤 개방적입니다. 딥마인드는 알파고 같은 자신들의 활동을 온라인에 공개합니다. 오픈AI와 마이크로소프트, 그리고 많은 그룹이 연구 성과를 공개해서 신속하게 모두가 이용할 수 있도록 하는 전통을 갖고 있습니다.

하지만 군 내부에서 그런 연구가 실행될 때는 모든 것이 비밀에 붙여집니다. 어떤 과학이라도 사람을 도울 수도 해칠 수도 있습니다. 민간 목적으로도 군사적인 목적으로도 사용될 수 있습니다. 오늘날 생물학이나 화학은 주로 민간을 위해 쓰입니다. 생물학자와 화학자 들이 생화학무기에 대한 국제 금지 협약을 끌어내기 위해 아주 열심히 노력했기 때문입니다.

이제 AI 연구자들도 치명적인 자율무기를 금지하기 위한 움직임을 시작했습니다. 실은 이번 주 제네바에서 그 문제에 대한 논의가 있었습니다. 어떤 결과가 나올지 지켜보려고 합니다.

만약 이런 노력이 실패하면 무기 경쟁이 일어나고 이런 무기는 과거 핵무기 경쟁 시대를 향수에 젖어서 되돌아보게 만들 겁니다. 만약 성공해서 금지협약을 도출하게 되면 아주 훌륭한 일이 될 겁니다.

우리가 만든 동영상이 이번 주 유엔에서 상영됐습니다. AI 연구자인 스튜어트 러셀이 제네바로 가서 이 동영상과 함께 발표를 했습니다.

네. 이 분야에서 선두를 차지하려고 비밀리에 시도하는 회사가 있으면 서방의 경우 인력 채용을 보고 눈치를 챌 수 있을 겁니다. 모두가 동일한 사람을 채용하려고 하니까요. 비밀스런 회사에 계속해서 인재를 뺏길 경우 알아챌 겁니다.

네 그렇겠지요. 다분히 위협적입니다. 우선, 개인적으로는 사람들에게 올바른 커리어를 택하도록 조언해 주는 게 아주 중요하다고 생각합니다. 사람들이 기계는 잘 못하는 업종으로 진출하도록 해야 합니다. 창의성, 예측불가능성, 사회적 지능 같은 것들을 발휘해야 하는 일입니다.

둘째, 장기적으로 볼 때 사회적으로 어떤 조치가 필요합니다. 기본소득제든 다른 무엇이든 말이지요. 그중에서 어떤 것이 가장 잘 작동하는지 작은 실험들을 해보는 게 좋다고 생각합니다. 실제로 핀란드에서 지금 보편기본소득제를 실험하고 있지요. 하지만 아무것도 하지 않은 채 돈만 줄 경우 사람들이 행복해지는지는 불분명합니다. 아마도 교사나 간호사로 일하거나 공원을 아름답게 단장하거나 다른 무언가를 하도록 돈을 준다면 좀 더 행복해할 겁니다.

따라서 작은 지역에서 실험들이 일어났으면 좋겠습니다. 한국에서도 소지역에서도 실험해보고 어떤 게 좋은지 평가해볼 수 있을 겁니다. 인간보다 더 싸게 모든 일과 서비스를 제공할 수 있는 기계를 만들 수 있다면, 그리고 정부가 충분한 세수를 확보해 국민에게 상품과 서비스를 구매할 수 있게 할 수 있다면 그것이 꼭 나쁜 일이라고 볼 수는 없을 겁니다. 그럴 경우 모두가 더 좋아질 수 있습니다. 사람들이 기본적으로 평생 어느 때든 휴가를 즐길 수 있고 하고 싶은 것에 대한 일을 할 수 있다면 근사한 일이 되겠지요.

하지만 그런 세상이 저절로 생겨나지는 않을 겁니다. 오히려 정부가 취약할 경우에는 지금 미국과 같은 상황이 벌어질 수 있습니다. 미국인의 밑바닥 30%의 빈곤층은 지난 수십 년 사이에 더 가난해졌습니다. 전체 경제는 성장했는데도 말이지요. 그래서 많은 사람이 분노했고 트럼프가 대통령에 당선됐지요. 영국은 브렉시트로 나아갔습니다. 세계가 점점 더 양극화하고 있습니다. 해법은 보다 적극적인 정부 역할이어야 한다고 생각합니다. 부가 모두가 더 나아지는 방향으로 분배되도록 개입해야 한다는 뜻입니다.

우리가 호모 사피엔스, 즉 생각하는 인간으로 명명할 때는 가장 똑똑한 존재로 정체성을 갖게 됩니다. 하지만 장기적으로 봤을 때 AI를 감안하면 그런 지위를 유지할 수 없을 겁니다. 어떤 엉터리 우월성의 관념 위에 우리의 가치를 구축하는 것은 좋지 않은 생각이라고 봅니다. 과거 자신들이 우월한 인종이라는 생각을 가졌던 독일인들이 있었지만 잘못된 길로 갔지요.

우리 인간은 다른 동물보다 우월하다는 생각 때문에 동물을 잘못 대하곤 합니다. 노예를 나쁘게 대했고 외국인을 나쁘게 대합니다. 그보다는 인간에 대해 무엇이 특벽한지에 대해 보다 겸허한 관점을 가지는 게 좋습니다. 그럴 경우 우리는 이런 근사한 경험들을 할 수 있습니다. 우리가 감각을 가진(sentient) 존재라는 거지요. 그런 생각을 중심으로 자신의 가치에 대한 감각을 구축하려고 노력하는 겁니다. 아마도 실제로는 불교적인 접근에 가까울지 모르겠습니다.

그때 박물관에 전시된 것들을 보면서 아주 강렬한 깨달음을 느꼈습니다. 우리 인류는 우리의 일부가 어떻게 작동하는지 이해를 했을 때마다 그것을 낡은 것으로 만들었지요. 우리 근육이 어떻게 작동하는지 알아낸 다음에는 기계를 개발하면서 근육이 잠들게(쓸모 없게) 만들었습니다.

이제 우리는 우리 두뇌가 어떻게 작동하는지 알아내려 하고 있습니다. 그렇게 될 경우에는 아마도 우리 뇌도 낡은 것이 것이 될 것입니다. 그러니 우리 인간은 마땅히 우리 자신을 낡은 것으로 만들려는 것 이상의 야심을 가져야 합니다. 그 이상의 야심이라는 것이 어떤 종류의 어리석은 목표가 되야 할까요? 저는 '시장의 보이지 않는 손'이 우리를 낡은 존재로 만들려 한다는 것을 이해할 수 있습니다. 그렇게 함으로써 더 많은 이윤을 창출할 수 있을 테니까요.

하지만 우리 인간은 그 이상의 야심을 가져야 한다고 생각합니다. 이 기술이 어떻게 하면 우리를 더 행복하게 할 수 있도록 사용할지 생각해야 합니다. 이 문제에 관심을 기울이지 않으면 우리가 낡은 존재가 되는 것은 기정사실입니다. 제가 울컥했던 것은 그 때문입니다. 그래서 이 책을 쓰게 됐던 겁니다.

그때보다는 마음이 놓입니다. 최소한 있어야 할 논쟁이 일어나기 시작했기 때문입니다. 점점 더 많은 AI 연구자들이 이 문제에 실제로 관여하고 있습니다. 이 책이 그런 방향에 더 도움이 되기를 바랍니다.

제가 AI와 더불어 멋진 미래를 만들 수 있을 거라고 낙관한다고 말을 할 때에는 마치 내일 아침 태양이 뜰 거라고 낙관한다는 것과 같은 의미의 순진한 낙관주의를 뜻하는 것은 아닙니다. 멋진 미래를 만들 수 있을 거라고 낙관하지만 진정으로 그것에 대비하고 계획하고 노력할 때에 그렇다는 뜻입니다. 아주 열심히 노력해야 할 겁니다.

우선, MIT에서 하고 있는 연구가 있습니다. 아까 지도 학생에게 이야기하던 것이 바로 우리가 '이해할 수 있는 지능(intelligible intelligence)' 프로젝트입니다. 우리가 이해하지 못하는 불가사의한 방식으로 아주 강력한 일을 할 수 있는 AI시스템, 신경망 시스템을 우리가 실제로 이해하고 신뢰할 수 있는 시스템으로 바꾸는 작업입니다. 아주 유용한 것이 될 거라고 생각합니다.

생명의 미래 연구소에서는 AI 기술을 좋은 방향으로 견인할 수 있는 방법에 대한 연구 작업을 해나가고 있습니다. 왜 무기 경쟁과 치명적인 무기를 피해야 하는지, 무기화를 우려하는 동영상 제작도 도왔습니다. 연구자들을 모아 실행에 옮겨야 할 안전 연구를 파악하는 작업도 하고 있습니다. 일이 많습니다. 하지만 우리 시대의 가장 중요한 이슈라고 느끼기 때문에 아주 의욕적으로 하고 있습니다.

네. 아마도 후속 컨퍼런스가 2년마다 열릴 겁니다. 푸에르토 리코 회의가 2015년, 아실로마가 2017년, 아마 다음 회의는 2019년이 될 겁니다.

네. 우리는 실수를 저지르는 데 아주 뛰어납니다.(웃음) 우리 형제들은 수년 전 실패를 좋지 않게 보던 시절부터 그걸 시작했어요. 대부분의 사람들은 실패를 순전히 부정적인 것으로만 봅니다. 하지만 사실 실패하는 과정에는 아주 좋은 것들이 많습니다.

우선, 실패가 좋은 사람으로 만들어 줍니다. 둘째, 실패를 통해 많은 유용한 것을 배웁니다.

그리고 낯선 사람을 만나 이야기할 때 서로의 결속감을 가장 잘 높여주는 것은 우리의 실패담입니다. 가령, 똑같이 이혼의 아픔을 경험한 사람을 만나면 같은 실패를 공유했기 때문에 서로 더 잘 이해하게 되는 것과 같습니다.

그래서 우리는 이런 작은 이야기들을 씀으로써 실패를 서로 축하하기로 결심했습니다. 자신의 실패가 얼마나 재미있는지 평가하도록 점수제도 만들어 둔 거죠.

네, 맞아요. 인생에서 결코 실패를 해본 적이 없다면 충분히 노력하지 않은 것이라고 하지요. 중요한 것은 성공을 하지 않는 것이 아니라 계속해서 애를 쓰고 실패하더라도 좌절하지 않는 것입니다. 단, 초지능에 관련해서 실패하는 것만 빼고 말이지요. (웃음) 그건 재학습의 여지가 없으니까요.

네. 우리가 실패를 축하하는 것을 사랑하는 것은 실패에 대해 생각하는 것이 얼마나 중요한지를 평가해보게 해줍니다. 내가 계획하는 일들이 의도대로 풀려갈 거라는 순진한 희망을 갖지 않게 합니다. 안전을 설계하는 마음가짐이 필요한 이유입니다.

아주 만족스럽습니다. 출간 후에 뉴욕타임스 베스트셀러 목록에 올라서 깜짝 놀랐습니다. 꽤 오래 머물러 있습니다. 유럽도 마찬가지입니다. 선데이 타임스 베스트셀러 목록에 있습니다. 각 신문에 실린 리뷰들도 아주 만족스러웠습니다.

가장 즐거운 일은 독자들과의 만남입니다. 책에 대한 강연을 하러 가면 제가 제기한 질문들에 관심을 갖는 것을 보게 됩니다. 책을 쓰느라 2년이라는 시간을 쏟은 보람을 느끼게 됩니다. 사람들의 질문을 들으면서 자신들의 삶과 자신들에게 정말 중요한 것들과 연결돼 있다고 느끼는 걸 봅니다.

서울에서 먼 길을 와 주셔서 "감사합니다".

처음 발견했을 때보다 좀 더 나아진 세상을 두고 떠난 사람.