"아시아인은 19금", "흑인은 범죄자"라고?

조회수 2019. 8. 3. 11:00 수정
번역beta Translated by kaka i
번역중 Now in translation
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 다양한 분야의 재밌고 유익한 콘텐츠를 카카오 플랫폼 곳곳에서 발견하고, 공감하고, 공유해보세요.

[HBR/하버드비즈니스리뷰] 이베이나 우버, 에어비앤비 같은 '온라인' 플랫폼의 등장은 오프라인 거래에서 발생하는 인종이나 성별에 의한 차별을 잠재적으로 줄일 수 있을거란 기대를 하게 만들었습니다. 하지만 최근 연구에 의하면 그 반대 현상도 일어나고 있다고 하는데요. 초기 플랫폼들은 판매자나 구매자의 신상을 비교적 익명으로 처리했습니다. 하지만 거래자들의 사진과 이름, 기타 식별 정보가 추가되면서 의도치 않은 차별적 행동들이 촉발되고 있습니다.

디지털 차별의 등장

전자상거래 초기 온라인 쇼핑에는 신뢰 문제가 쉽게 간과됐다. . 예를 들어, 서울에 거주하는 한 판매자가 ‘메모리 8GB 하드 256GB, 사용한지 1년된 S사 노트북 20만원에 판매합니다’란 게시물을 노트북 상태를 묘사하는 설명과 함께 옥션에 올린다고 치자.



부산에 사는 대학생 한 명이 노트북을 직접 확인하지 않은 채 판매자의 설명만 믿고 구매를 신청한다. 노트북 상태가 양호하다면 괜찮겠지만 외관에는 흠집이 나고 바이러스가 걸렸던 컴퓨터라면 가치가 꽤 줄어들 것이다. 판매자가 낡아빠진 노트북을 완전히 새것처럼 둘러댄다면 이를 어떻게 막을 수 있을까? 사실상 해결 방법은 거의 없다.

출처: 동아일보
중고거래 사기는 초기 전자상거래 시장의 문제 중 하나였다

초기 전자상거래가 가진 문제는 노트북의 상태처럼, 시장의 한쪽 주체는 알 수 있는 상품의 신뢰성이나 포장 방식 등의 정보를 다른 쪽 주체는 알 수 없었다는 점이었다. 이런 문제가 모든 유형의 시장에서 발생하지만, 온라인 플랫폼에서 특히 심했던 데에는 2가지 주요 원인이 있었다.


첫째, 당신의 손 위에 상품이 없을 때는 정보의 비대칭을 극복하기 어렵다는 점이다. 둘째, 전자상거래가 시작된 지 고작 2년쯤 됐던 당시 온라인 판매자들에게는 이 산업이 본질적으로 생소했기 때문이다. 그때에는 구매자가 사기를 당할 가능성이 전혀 없다는 확신을 줄 만큼 확고한 명성의 브랜드가 없었다.


시간이 지나면서 구매자들은 이 판매자가 어떤 사람인지 판매 상품뿐 아니라 판매자의 이름과 사진까지도 볼 수 있게 됐다. 판매자들도 자신이 누구와 거래를 하는지, 이름, 성별, 지역까지 파악할 수 있는 권한을 가졌다. 이런 형태의 정제된 개인정보가 시장 참여자들이 잠재 거래자의 신뢰도를 측정하는 데 도움을 주었다.

그러나 이런 신상 정보들은 아이러니하게도 차별이 존재하지 않았던 온라인 플랫폼에서 차별을 조장하는 역할을 하고 있다. 단기숙소임대차 사이트인 에어비앤비는 온라인 시장에서도 차별이 발생하고 있음을 보여주는 사례가 된다. 에어비앤비는 잠재적으로 숙소를 임차하고자 하는 게스트가 후보 리스트를 검색하면, 해당 숙소와 주인의 사진이 관련 설명과 함께 뜬다. 숙소 주인인 호스트 또한 예약을 승인하거나 거절하기 전에 잠재 게스트의 이름은 물론 대부분은 게스트의 사진도 볼 수 있다.


필자 중 한 명은 에어비앤비에 정말로 인종차별이 존재하는지를 조사했다. 미국 중심으로 실시한 조사에서, 연구자들은 사용자 프로필 20개를 만든 다음 약 6400명의 호스트에게 예약 신청을 보냈다. 게스트의 이름만 빼고 다른 신상정보와 신청내용은 모두 동일했다. 20개 프로필 중 반은 흔한 백인 이름으로(출생 기록을 근거로),그리고 나머지 반은 흔한 흑인 이름으로 만들었다.

실험 결과, 백인으로 추정되는 이름으로 예약을 신청했을 때보다 흑인으로 추정되는 이름으로 예약했을 때 호스트의 숙박 승인율은 16% 더 낮았다. 그리고 이런 차별은 숙소의 조건과 상관없이 존재했다. 저렴한 숙소든 비싼 숙소든, 다양한 인종이 사는 지역이든 동일한 인종만 사는 지역이든, 호스트의 가정집에 포함된 숙소든 아니면 호스트가 몇 채의 집을 대여해 관리하는 개별 숙소든 마찬가지였다.


흑인으로 추정되는 프로필로 보낸 예약 신청을 거절한 호스트 중에는 흑인 게스트를 받은 경험이 전혀 없는 사람들이 대부분이었다. 이는 인종차별적 성향이 특히 강한 호스트들이 있다는 사실을 보여준다.(이 연구 결과와 더불어 사이트 사용자들과 규제기관의 비판이 점점 강해지면서, 에어비앤비는 차별을 줄이기 위한 대책위원회를 만들었고 2016년 9월에 일련의 변화 지침들을 제안했다.)


연구자들은 노동시장과 신용기반 서비스, 그리고 주택시장에 이르기까지 다양한 온라인 사이트에서 벌어지는 인종차별 현상들에 대해 연구해 왔다. 온라인 인종차별은 2가지 기능에 의해 발생한다. 첫 번째는 인종적 표식으로, 가장 확신한 수단은 사진이지만 이름처럼 좀 더 미묘한 표식도 있다. 두 번째는 시장참여자 중 한쪽이 누구와 거래할 것인지를 정할 수 있는 재량권이다.

편견을 확대하는 빅데이터

온라인 상거래의 또 다른 특징은 편견이나 차별을 억제하기보다, 오히려 때때로 반직관적으로 차별을 촉진하기도 한다는 점이다. 바로 알고리즘과 빅데이터의 활용 때문이다. 구글의 검색 결과나, 아마존 사이트가 추천하는 도서, 그리고 넷플릭스가 제안하는 영화 목록들은 고객이 무엇을 원하는지를 불완전한 인간의 판단 대신 기계의 판단으로 제시하는 예들이다. 기계는 인간보다 공정한 판단을 한다고 추정하기 쉽지만 실제로는 그렇지 않다.

출처: 출처 트위터 @Ibekabir

사실, 알고리즘은 인간이라면 피할 수 있을 법한 차별을 오히려 발생시킨다. 한때 트위터에서 논란이 됐던 사건을 살펴보자. 미국 버지니아주에 사는 한 흑인 고등학생은 트위터에 한 편의 영상을 올렸다.



구글 이미지 검색창에 Three white teenagers(세 명의 백인 청소년)이라고 검색했을 때는 화목해보이는 백인 사진들이 나왔지만 Three black teenagers(세 명의 흑인 청소년)이라고 검색하면 범죄자의 사진으로 가득차있는 영상이었다. Three asian teenagers(세 명의 아시아 청소년)으로 검색했더니 '청소년에게 유해한 결과는 제외되었습니다. 만 19세 이상의 사용자는 성인인증을 통해 모든 결과를 볼 수 있습니다.'라는 메시지가 뜬다.


물론 구글이 의도적으로 흑인을 검색했을 때 범죄자가 나오고 아시아인을 검색했을 때 야한 사진이 나오도록 만든 것은 아니다. 이런 결과는 과거 수많은 이용자들의 다른 검색들을 기초로 알고리즘이 ‘판단’한 결과다. 의도한 것은 아니지만 부지불식간에 구글의 알고리즘 디자이너에 의해 이런 사회적 편견과 차별을 답습한 것이다.

시장을 디자인하는 더 현명한 방법들

기업들 또한 이런 잠재적 차별 요인들을 조사하고 개선책을 도입하기 위해 다양한 조치를 취하고 있다. 예를 들어 이베이는 사회심리학자들과 팀을 꾸려 사이트에서 거래되는 유사한 제품들에 대해 남성 판매자가 여성 판매자보다 더 높은 가격을 받지 않는지 조사했다.



하지만 이 이슈를 피하려 드는 기업들이 더 일반적이다. 심지어 최선의 의도를 가진 기업일지라도, 차별과 싸우는 데 최선의 방법을 채택하지 않을 수 있다. 왜냐하면 차별을 줄이기 위해 플랫폼에 적용할 수 있는 방법에는 어떤 것들이 있으며 그 결과가 어떨지 완전히 파악할 수 있는 시스템이 없기 때문이다. 아래의 글을 통해, 활발한 거래를 일으키면서도 ‘차별’이라는 리스크를 최소화하는 플랫폼을 원하는 기업들에 기본 지침을 제공하려 한다.

원칙1: 차별을 불러일으킬 수 있는 잠재적 요인들을 무시하지 말라.

우선 플랫폼은 좀 더 신중한 추적(tracking)에 나서야 한다. 현재 대부분의 플랫폼들은 자신의 사이트에서 거래하는 참여자들의 인종이나 성별 구성이 어떤지 잘 모른다. 어떤 문제든 이를 파악하고 개선하기 위해 필요한 조치를 취하기 위해서는 사용자들의 인종 및 성별과 더불어 집단별 거래 성공률이 어떤지 정기적으로 측정하고 그 결과를 보고해야 한다. 이렇게 하면 어떤 영역에서 차별이 발생하는지, 그리고 시간이 흐르면서 상황이 얼마나 개선되는지 파악할 수 있다.


예를 들어 에어비앤비는 게스트 수락비율을 인종과 성별 등의 속성별로 집계해 정기적으로 보고한다. 이런 정보를 공개하면 관련 사항에 대한 사용자와 규제기관의 인식을 높일 수 있고 플랫폼이 발전해 나가면서 직면하는 차별 문제에 대해 회사가 성실하게 대처하도록 지속적인 압력을 행사할 수 있다.

원칙2: 너무 많은 정보를 제공하지 말라.

아마존과 이베이 같은 플랫폼들은 이미 이런 방식으로 운영된다. 하지만 이런 변화를 자신들의 기존 사업 방식에서 이탈하는 것으로 여기는 회사들이 많다. 수십억 달러의 자산 가치를 가진 한 온라인 플랫폼의 경영진은 자신들의 사이트에서 판매자의 사진이나 이름이 사라지는 일은 절대 없을 것이라고 필자들에게 말하기도 했다.


꼭 개인정보를 공개해야겠다면 이 플랫폼들은 어떤 정보를 공개할 것인지에 대한 결정과 함께, 그 정보를 어느 정도로 두드러지게 공개할 것인지도 선택해야 한다. 고객들은 어떤 정보가 눈에 보이는지뿐만 아니라, 그중 어떤 정보가 가장 두드러지는지에 따라서도 영향을 받는다.

원칙3: 당신의 알고리즘이 차별을 인식하게 만들어라.

어떤 디자인을 선택하느냐에 따라 플랫폼 알고리즘이 유도하는 차별 수준도 결정될 수 있다. 지금까지는 많은 알고리즘 디자이너들이 인종 및 성별 같은 차별 요인들을 고려하지 않은 채 그냥 요행을 바랐다. 하지만 많은 경우에 알고리즘이 우연한 평등을 달성할 확률은 기본적으로 전무하다.



만약 알고리즘 디자이너가 공정함을 중요시 여긴다면, 인종과 성별이 사용자 경험에 어떤 영향을 미치는지 추적하고 이에 대한 명확한 목표를 세워야 한다. 흑인 고객들이 거절되는 비율이 백인 고객들보다 높지 않도록 확실한 조치를 원하는가? 또 여성들도 남성들과 동일한 가격으로 거래할 수 있기를 바라는가?


구글은 성차별, 인종차별 검색 결과에 대한 잇따른 불만 신고에 따라 자신들의 알고리즘을 변경했지만 다른 기업들도 이런 문제를 적극적으로 모니터링하고 이에 대응해야 한다. 일부 사용자에게 가해지는 차별 피해를 보상해야 할 수도 있다. 예를 들어, 우버가 대부분의 승객들에게 최고의 평점을 받는 흑인 운전사에게 지속적으로 낮은 평점을 주는 승객들을 파악했다고 생각해 보자. 우버는 그런 승객들의 경우, 평가의 영향력을 낮출 수 있다. 또 흑인 운전사들이 받는 평균 피드백 점수를 공개함으로써 이런 승객들이 스스로 차별주의자라는 것을 인식하게 만들 수 있다.

. 그리고 모든 플랫폼 디자이너들이 그런 목표를 염원한다고 기대하는 것도 단지 희망일 뿐이다. 차별을 조장하는 것이 오히려 사업에 유리할 수도 있기 때문이다. 만약 상황이 이렇다면, 우리는 비즈니스 리더들의 사회적 책임의식에 호소하거나 정부 규제당국이 개입하기를 바랄 수밖에 없다.


하지만 온라인 플랫폼 기업들이 저비용으로 차별을 줄이고 심지어 더 높은 수익을 창출하는 기회를 잡는, 즉 ‘좋은 행동으로 좋은 성과를 내는’ 경우도 많다. 또한 의식이 깨인 소수의 기업들이 이런 선순환 구조를 보여주기 시작함으로써 다른 시장 참여자들도 보다 바람직한 행동을 하게 만드는 일도 가능하다. 플랫폼 담당자들이 이런 힘을 통해 보다 포용적인 사회를 만들어 나가기를 바란다.

출처 세계적 경영매거진 HBR 2016년 12월호
필자 레이 피스먼, 마이클 루카

인터비즈 문현지 정리

inter-biz@naver.com

이 콘텐츠에 대해 어떻게 생각하시나요?