블로터

“트위터나 다른 소셜 플랫폼이 부정적으로 활용되는 것을 안타깝게 생각한다. 학대, 폭력, 증오가 (플랫폼에서) 확산되는 것을 막고자 하고 있다”

지난 3월22일 한국에서 열린 잭 도시 트위터 CEO 기자간담회 현장. 잭 도시에게 뉴질랜드 총격 사건 영상이 트위터, 페이스북, 유튜브 등 소셜 플랫폼으로 확산된 데 대해 비판의 목소리가 나오고 있는데 어떻게 생각하냐고 묻자 잭 도시가 내놓은 대답이다. 대답은 들었지만 되레 궁금증이 커졌다. 학대, 폭력, 증오를 어떻게 막고 있다는 건가.

지난 15일(현지시간) 뉴질랜드 크라이스트 처치 이슬람 사원 2곳에서 최악의 총기난사 사건이 발생했다. 테러 용의자 브렌턴 태런트는 사원을 돌아다니며 무차별 총기난사를 자행했다. 이 사건으로 50여명이 사망하고 수십명이 부상을 입었다. 브렌턴 태런트는 헬멧에 카메라를 부착하고 17분 동안 페이스북에 테러 현장을 생중계했다. 페이스북은 사건 발생 1시간 만에 용의자가 올린 원본을 삭제했지만 테러 영상이 이미 트위터, 유튜브 등 다른 플랫폼을 타고 전세계로 퍼져 나간 뒤였다.

2015년 무렵부터 트위터(페리스코프), 페이스북, 유튜브 등은 모바일로 생중계를 할 수 있는 기능을 도입했다. 소셜 플랫폼의 ‘실시간’ 소통성이 강조되는 데다가 수많은 사용자가 장시간 동안 플랫폼에 체류하게끔 유도할 수 있다는 게 라이브 방송의 장점이었다.

방송국이 쥐고 있던 ‘생방송’ 장벽이 무너지고 누구나 쉽게 영상을 중계할 수 있게 되자 부작용도 잇따랐다. 2016년 5월 IS 추종자 라로시 아발라는 경찰관 커플을 살해하고 13분간 페이스북 라이브로 살해 현장을 중계해 전세계에 충격을 안겼다. 같은 시기 프랑스에서는 10대 여성이 페리스코프를 이용해 자신의 자살 장면을 생중계했다. 2017년 태국의 한 남성은 페이스북 라이브를 틀어 놓고 생후 11개월 된 딸을 무참히 살해했다.

이외에도 소셜 플랫폼의 생방송 기능을 활용해 실시간으로 마약을 거래하거나 성폭행 장면을 여과없이 보여주는 사건이 수차례 발생했고, 자극적인 영상은 소셜 플랫폼을 통해 빠르게 공유됐다.

그간 혐오범죄나 폭력적인 영상이 플랫폼에서 생산되고, 확산될 때마다 IT기업들은 비슷한 입장을 표명했다. “인공지능(AI)을 통해 필터링하려 노력”하고 있고, “전담 모니터링 직원을 두고 검토”하고 있으며 앞으로도 노력하겠다는 거였다.

그러나 이번 총격 사건을 계기로 거대 테크기업이 혐오범죄의 확산을 돕고 있다는 비판의 목소리와 함께 플랫폼에게 규제를 적용해야 한다는 주장이 나오고 있다.

페이스북은 이번 뉴질랜드 총기 테러 영상 공개 이후 24시간 동안 150만개 이상의 영상이 올라왔다고 밝혔다. 이중에서 120만개는 게시가 이루어지기 전에 차단했으나 감시망을 피하기 위해 변형된 사본이 공유되면서 영상을 전면적으로 차단하는 데는 실패했다.

유튜브도 플랫폼에 올라온 테러 영상 수만건을 삭제한 것으로 알려졌다. 평소 콘텐츠 검토 과정에서 요구되던 인력(검토자)의 개입을 건너뛰고, 총격 관련 폭력적 장면은 전부 자동으로 업로드가 차단되도록 조치했다. 또 ‘최신순으로 보기’ 등 게시 날짜별로 콘텐츠를 필터링 기능을 막아 영상의 확산을 최소화했다. 트위터는 AI를 활용하는 한편 긴급상황을 관리하는 전담 팀을 통해 뉴질랜드 테러 영상을 삭제 조치했다고 밝혔다.

그럼에도 빈틈은 있었다. 페이스북은 “(AI는) 우리가 제거한 대부분의 컨텐츠를 사전에 탐지할 수 있었다. 하지만 완벽한 건 아니다”라고 말했다.

AI 시스템은 ‘훈련(training) 데이터’를 기반으로 한다. 특정 유형의 텍스트, 이미지 또는 영상을 탐지할 수 있는 시스템을 AI에게 학습시키기 위해서는 수천 개의 ‘예제’가 필요하다.

페이스북 측은 “이 접근법은 누드, 테러리스트의 선전 활동 등의 분야에서는 효과적이지만 이번 영상은 자동탐지 시스템에 걸러지지 않았다”라고 말했다. 총기 난사가 실시간으로 중계되는 사건이 흔치 않았기 때문에 데이터 자체가 희소했고, 이 때문에 ‘필터링’할 수 없었다는 설명이다.

페이스북은 AI가 결코 완벽하지 않다고 거듭 강조하며 작년 약 1만5천명의 콘텐츠 검토자를 고용했다고 언급했다. 또 앞으로는 △매칭 기술을 개선하고 △실시간 스트리밍 동영상에서 비슷한 일이 발생할 시 더 빨리 반응하도록 하겠다고 말했다. △백인우월주의단체를 포함한 200여개 테러집단과 혐오집단을 금지하고 △혐오발언에 대응하며 △ ‘테러대비 세계 인터넷 포럼(GIFCT, Global Internet Forum to Counter Terrorism)’을 통한 업계 협력을 확대하겠다고 강조했다.

지난 2016년 12월 페이스북, 유튜브, 트위터, 마이크로소프트 등은 온라인 테러 콘텐츠에 공동대응하기 위해 GIFCT를 조성했다. 포럼 가입사는 고유의 디지털 지문 ‘해시’를 10만개 이상 공유하고 있다. 해당 해시를 사용해 테러 콘텐츠의 해시와 일치하는 영상이나 이미지 등을 식별하고 제거할 수 있다.

문제는 해시를 공유한다 해도, 영상을 재편집하면 AI가 인지할 수 없다는 데 있다. 실제로 태런트의 총기 난사 영상은 게임 화면으로 조작된 채 게임 채팅 앱 ‘디스코드’에서 유포되기도 했다. 페이스북은 동일한 사운드 트랙을 가진 영상을 감지하는 오디오 매칭 기술으로 변조된 영상에 대응했다.

이에 따라 페이스북은 향후 콘텐츠 해시가 아닌 URL을 체계적으로 공유하고 위기 상황에서 GIFCT의 협력을 개선하겠다고 밝혔다.

트위터에 따르면 현재 URL 공유 프로젝트는 테러 콘텐츠에만 국한돼 있다.

페이스북도, 트위터도, 유튜브도 모두 AI의 중요성을 강조하지만, AI가 해결하지 못하는 부분은 사람의 손에 맡기고 있다. 검토 인력은 테러를 비롯해 폭력적이고 잔인한 영상을 수없이 봐야 한다. 이 때문에 콘텐츠 검토 인력에 대한 정신적 피해에 대한 지원이나 규정 등이 마련돼야 한다는 지적도 나온다.

<워싱턴포스트>는 “기업은 저임금 검토자 또는 결함이 있는 알고리즘에 의존해 콘텐츠를 관리하고 있다. 반면 엄청난 자원과 AI 활용을 비롯한 독창성은 클릭 수와 광고 수익을 극대화하려는 노력에 투입했다”라고 꼬집었다.

이번 참사 이후 뉴질랜드 ASB은행, 호주계 커먼웰스 은행, 버거킹, 통신사 스파크 등은 페이스북에서 광고를 철회하겠다는 뜻을 밝혔다. 페이스북 팔로워가 67만명에 달하는 토니 페르난데스 에어아시아 CEO는 페이스북을 떠난다고 밝히며 “페이스북은 이를 막을 수 있었다”라고 강하게 비판했다.

페이스북은 플랫폼을 제공해줬을 뿐이고 AI나 사람을 통해 이를 막기 위해 열심히 노력했다는데, 여기에 과연 책임을 물을 수 있을까.

<뉴욕타임즈>는 “거대 테크 플랫폼은 한때 언론의 것으로 여겨지던 문제를 물려 받았다”라고 말했다. TV, 방송사업자의 역할을 페이스북과 다른 소셜 플랫폼이 대체하게 되면서 이들이 고민하던 문제까지 끌어안게 됐다는 것이다.

규모로 봤을 때 플랫폼은 전세계적인 파급력을 지니고 있다. 영향력 측면으로 볼 땐 기존 방송사업자와 비교할 수 없을 정도로 큰 것이 사실이다. 영향력이 막대해진 지금은 새로운 형태의 규제가 이들에게 필요할 수 있다.

“방송 규제 당국은 생방송 쇼에서 부적절한 콘텐츠를 방송하는 방송사에게 불이익을 줬기 때문에 TV 생방송은 시간을 지연해왔다”라며 “소셜 미디어 회사에는 실질적인 규제가 없다. 그들은 이익을 추구할 때나 시끄러운 여론을 잠재우기 위해서만 변화한다”라고 <패스트컴퍼니>는 지적했다.

정치권에서도 비슷한 의견이 나오고 있다. 뉴질랜드 총리 저신다 아던은 “그들(플랫폼)은 발행인이다. 우체부 역할만 하는 게 아니다(They are the publisher. Not just the postman)”라며 페이스북 등을 규제할 것을 시사했다. 코리 부커 미국 민주당 상원의원은 “테크기업들은 책임을 져야 한다”라며 “그들은 더 빨리 (영상을) 삭제했어야 했다”라고 말했다.

스콧 모리슨 호주 총리는 지난 19일(현지시간) 아베 신조 일본 총리에게 서한을 보내, 오는 6월 일본 오사카에서 열리는 G20 회의의 주요 의제로 소셜 미디어 규제를 논의할 것을 제안했다. 그는 “인터넷을 제멋대로 날뛰는 공간으로 놔두는 것을 용인할 수 없다”라며 “IT기업은 그들이 이익을 취하고 있는 지역 사회를 보호 할 도덕적 책무를 다해야 한다. 이를 보장하기 위해 국제 사회가 함께 노력해야 한다”라고 말했다. 아베 총리도 긍정적인 신호를 보낸 것으로 알려졌다.

한편 국제적인 비영리 단체 전자프론티어재단(EFF)은 이러한 움직임으로 인해 인터넷 공간의 표현의 자유가 제한될 수 있다는 점에서 우려를 나타냈다. EFF는 페이스북 등 플랫폼이 문제의 소지가 있는 콘텐츠를 삭제하되, 삭제된 게시물과 계정 수에 대한 투명한 데이터를 제공해야 한다고 짚었다. 또 콘텐츠가 삭제될 시 게시자에게 알림을 보내고 게시자가 플랫폼의 결정에 이의를 제기할 수 있는 ‘의미 있는’ 기회를 줘야 한다고 말했다.