블로터

쓰면 쓸수록 똑똑해지는 인공지능(AI). 흔히 AI 비서나 스마트 스피커 서비스를 두고 나오는 말입니다. AI 비서가 머신러닝 기술을 기반으로 사용자 데이터를 학습해 질문에 대한 대답을 내놓는 것으로 알려졌기 때문이죠. 지난 6월21일 <블로터>의 ‘”여자라서 자동차에 관심없다”…성차별 부추기는 AI 비서’ 기사에 대한 독자 반응 중 하나도 빅데이터를 기반으로 나온 답변을 왜 문제 삼느냐는 지적이었습니다. 하지만 이러한 주장은 사실과 다릅니다.

해당 기사는 KT AI 스피커 ‘기가지니’가 일부 성차별적인 답변을 내놓는다는 점을 짚은 기사였습니다. 특히 자동차를 좋아하냐고 물었을 때 “제가 여자라서 그런지 자동차에 관심이 없어요”라고 답하는 부분이 문제가 됐습니다. 이 때문에 이용자들로 하여금 기가지니가 성차별을 부추긴다는 지적을 받았고, KT는 이를 수용해 답변 내용을 수정했습니다. 기사를 접한 일부 독자들은 데이터 기반으로 답변이 나온 거면 오히려 통계적 현실을 반영한 것 아니냐며 반문했습니다.

AI 비서가 데이터 기반으로 답변을 한다는 말은 절반만 맞습니다. AI 비서가 음성 명령에 대해 응답하는 방식은 크게 두 가지입니다. 데이터에 기반하거나 미리 짜여진 시나리오대로 동작하거나. 대개 두 가지 방식을 합쳐 사용합니다. KT 기가지니 역시 마찬가지입니다. 

KT 관계자는 “(기가지니에) 데이터 방식과 시나리오 방식을 둘 다 적용하고 있다”라며 “처음 서비스를 시작할 때는 시나리오 기반으로 구축하고, 데이터를 덧붙이는 방식이다”라고 밝혔습니다.

문제가 된 답변은 어떻게 나온 걸까요. KT는 이 부분에 대해 구체적인 답변을 내놓지 않았습니다. 하지만 일반적인 AI 비서 작동 원리를 살펴보면 답은 간명합니다. 데이터 기반 답변은 대개 실질적인 도움을 요청하는 사용자의 음성 명령과 질문에 대해 나옵니다. 예를 들어 날씨를 묻거나 할 일, 일정 등을 물을 때 데이터에 기반한 답변을 내놓습니다. 인물이나 영화 등 검색 정보를 물을 때도 마찬가지입니다. 음악 추천 등 추천 서비스에도 사용자 데이터가 활용됩니다. 반면, AI 비서의 취향을 묻거나 개인적인 질문은 시나리오에 기반합니다.

카카오 관계자는 “카카오미니 음성 명령에 따른 답변은 축적된 데이터베이스와 시나리오 베이스 모두 활용된다”라며 “디바이스에 질문하는 개인적인 질문에 대해서는 시나리오 형태로 보면 된다”라고 밝혔습니다. 즉, “여자라서 자동차에 관심 없다”라는 기가지니의 답변은 인간 개발자가 짜놓은 시나리오인 셈입니다.

축적된 사용자 데이터는 주로 AI 모델을 정교화하는 데 활용됩니다. AI 비서 혹은 스피커의 기본 토대는 ‘챗봇’과 같습니다. 인간의 언어를 이해하고 분석하는 자연어 처리 기술(NLP)을 토대로 문자 채팅을 통해 질문과 답이 오가면 챗봇이 되고, 여기에 음성인식, 음성합성 기술 기반의 음성 인터페이스를 붙이면 AI 스피커가 되는 식이죠. 사용자 데이터가 쌓이면 사용자의 말을 알아듣고 사람처럼 말하는 전반적인 기술 성능을 끌어올릴 수 있습니다.

또 사용자 개인을 더 잘 이해할 수 있어 맞춤형 서비스를 제공할 수 있습니다. 사용자가 자주 하는 질문을 분석해 더 적절한 대답을 내놓을 수 있도록 할 수도 있죠. 사용자 데이터 기반의 학습은 실시간으로 이뤄지지 않습니다. 개발 뒷단에서 새롭게 쌓인 데이터를 학습시켜 AI 모델을 정교화한 후 일정한 성능 개선이 이뤄지면 클라우드 서버상에 있는 대화 엔진과 음성 엔진을 업데이트하는 방식으로 진행됩니다. 쓰면 쓸수록 똑똑해진다는 말은 여기서 나오는 겁니다. AI 비서가 스스로 학습한다는 개념은 아닌 셈이죠.

그렇다면 데이터에 기반한 답변은 문제가 없는 걸까요. 그렇지 않습니다. 기술은 중립적이라는 말이 있지만 데이터 자체가 편향됐다면 어떨까요. 최근 AI 개발의 화두 중 하나는 데이터 편향성 문제입니다. 방대한 양의 데이터를 기반으로 만들어지는 AI 알고리즘은 학습한 데이터에 편향이 있을 경우 이를 그대로 반영하게 됩니다. 또 학습에 활용되는 많은 데이터가 과거의 의사결정을 반영한 역사적 데이터(historic data)라는 점에서 과거의 편향이나 사회적 차별이 AI에 그대로 적용될 수 있죠.

아마존의 성차별적 AI 고용 추천 시스템이 대표적인 사례입니다. 미국 아마존은 2014년부터 AI를 활용한 고용 시스템을 준비했습니다. AI가 입사 지원서를 검토하고 인재를 추천하는 방식이죠. 그런데 이 AI 고용 시스템은 소프트웨어 개발자나 기술직군에서 여성 지원자를 배제했습니다. 아마존은 지난 10년간 회사에 접수된 입사 지원서를 기초로 훈련 데이터를 구축했는데, 당시 지원자 대부분이 남성이었던 점을 반영해 데이터 편향이 발생한 탓입니다.

데이터 편향 문제는 안면 인식 기술에서 큰 문제를 낳고 있습니다. 지난 2월 <뉴욕타임즈>는 조이 부올라미니 MIT 미디어랩 연구원의 논문을 인용해 ‘안면 인식 기술이 백인 남성에게 편향적으로 만들어졌다’라고 보도했습니다. 이 연구 결과에 따르면, 백인 남성은 99% 이상 정확하게 인식하지만, 흑인 여성의 경우 오류율이 최대 35%까지 증가했습니다. 백인 여성은 오류율이 7%, 흑인 남성은 12% 수준으로 나타났습니다. 학습에 사용되는 안면인식 데이터가 백인 남성 위주로 편향됐다는 점이 기술적 차별을 낳았습니다. 마이크로소프트는 자사 안면 인식 소프트웨어의 편향성을 인정하고 미국 정부에 안면 인식 소프트웨어 사용에 대한 규제를 촉구했습니다.

극단적으로는 사용자들이 AI에 사회적 차별을 담은 데이터를 학습시킨 사례도 있습니다. 지난 2016년 마이크로소프트가 개발한 챗봇 ‘테이’는 트위터상에서 사람과 대화하도록 만들어졌습니다. 사람들의 참여를 위한 머신러닝 프로젝트로 개발돼 트위터 사용자와의 상호작용을 학습하도록 설계됐습니다. 하지만 일부 이용자들이 지속해서 부적절한 메시지를 가르쳤고, 테이는 혐오 발언을 학습해 인종차별, 성차별적인 대답을 쏟아냈습니다. 결국 마이크로소프트는 테이를 공개한 지 16시간 만에 운영을 중단했습니다.

공정성이 중요한 사회적 가치로 떠오르면서 AI에 의한 합리적인 의사결정이 이뤄질 거라는 기대가 커지고 있습니다. 하지만 최근 훈련 데이터의 편향성과 AI 의사결정 과정의 불투명성 등이 문제로 지적되면서 윤리적 AI에 대한 연구가 늘고 있습니다. 구글에서 머신러닝의 공정성을 연구하고 있는 베키 화이트 구글 AI 리서치 프로그램 매니저는 지난 6월25일 ‘구글 AI 포럼’에서 “인간이 머신러닝 시스템을 설계하는 과정에 있어서 사회적 맥락을 유념해야 한다”라며 불공정성은 데이터 수집, 분류, 이용 과정에서 항상 개입할 수 있는 요소라고 짚었습니다.

안타까운 지점은 국내에서 벌어진 KT 기가지니 성차별 논란은 이러한 논의 수준에도 못 미치는 ‘인재’였다는 점입니다. 이에 대해 AI 윤리를 연구하는 한 학자는 “KT 쯤되는 대기업에서 이런 문제가 내부에서 관리되지 않고 발생한다는 게 이해가 되지 않는다”라고 말했습니다.