네이버웹툰이 '웹툰 인공지능(AI)'으로 하려는 일들
웹툰 주인공이 내가 사는 현실세계에 나타난다. 스마트폰으로 셀카를 찍으면 사진 속 내 얼굴을 본딴 2D 캐릭터가 웹툰에 등장해 극을 끌고 나간다. 입으로 ‘후’, 바람을 불면 스마트폰 속 웹툰 주인공의 머리칼이 흩날린다.
지난 2017년 12월 네이버웹툰은 하일권 작가와 함께 기획하고 네이버랩스와 공동개발한 인터랙션 웹툰 ‘마주쳤다’를 선보였다. 독자를 웹툰 등장인물로 끌어들여 화제를 모았고, 무엇보다 세계 최초로 웹툰에 딥러닝을 적용한 사례였다는 점에서 그 의미가 컸다.
이듬해 봄 네이버웹툰은 아예 웹툰 관련 기술을 연구 개발하는 전담조직, ‘더블유 리서치(이하 W리서치)’팀을 꾸렸다. W리서치팀은 웹툰에 특화된 머신러닝 기술을 개발하고 있다. 네이버웹툰은 웹툰에 기술을 얹어 어떤 그림을 그리는 걸까. 네이버웹툰 본사에서 만난 장재혁 네이버웹툰 W리서치 리더는 “우리 팀은 딥러닝으로 웹툰 생태계에 도움을 주고자 한다”라고 설명했다.
딥러닝은 어떻게 독자의 데이터를 아껴주나
웹툰 플랫폼은 독자와 작가를 이어주는 매개 역할을 한다. 기본적으로 독자가 콘텐츠를 잘 감상할 수 있는 최적의 환경을 조성하는 게 중요하다. 예를 들어 웹툰 화면이 빨리 뜨게 한다거나, 데이터를 적게 쓰도록 만들어준다거나 하는 노력이 필요하다. 장 리더는 “통신요금 부담이 큰 10대에게는 웹툰의 데이터 소모량이 특히 중요한 요소로 작용한다”라고 말했다.
그래서 W리서치 팀은 최신 이미지 압축, 슈퍼 레졸루션 등의 기술을 웹툰 및 만화에 특화시키는 연구를 진행하고 있다. ‘딥러닝 기반 이미지 압축 기술(Webtoon Image Compression)’은 정상 이미지를 3분의 1 수준의 저해상도 이미지로 만들었다가, 웹툰 열람 시 원래 이미지로 복원한다. 이 기술은 독자의 데이터 요금 부담을 줄이고, 이미지 사용량을 감소시켜 웹툰 화면이 더 빨리 뜨게 만들어준다.
이미지 압축 기술은 이미 많이 연구되고 있지만, W리서치팀은 웹툰에 최적화된 이미지 압축 기술을 개발한다는 데 차별점을 둔다. 장 리더는 “이미지를 줄였다가 키우는 기술은 보편화돼 있다. JPEG와 같은 손실압축 기술이 대표적”이라며 “다만 웹툰은 텍스트가 있어서 줄이면 망가지고 복원이 힘들다. 그래서 웹툰에 최적화된 압축기술로 텍스트까지 잘 복원하는 딥러닝 기술을 개발하게 됐다”라고 말했다.
펜선 따고 채색하는 과정도 ‘자동화’으로
웹툰 작가에게는 딥러닝이 어떤 도움을 줄 수 있을까. W리서치팀은 2017년 일본에서 개발된 자동채색 프로그램 ‘페인트 체이너’에서 아이디어를 얻었다. 딥러닝 기술을 이용해 밑그림에서 펜선을 자동으로 생성해주고, 웹툰 장면을 알아서 채색하는 자동 펜선따기(Sketch Simplification), 자동 채색(Automatic Colorization) 기술을 떠올렸다. 네이버웹툰의 자동채색 기술을 담은 논문은 2017년 세계적인 머신러닝 학회 NIPS에 채택되기도 했다.
원리는 이렇다. 밑그림과 밑그림의 펜선을 딴 최종 결과물을 연결한 데이터를 계속해서 AI에 입력한다. AI는 이런 과정으로 펜선을 따는 법을 학습해 ‘이런 밑그림은 이렇게 만들면 되는구나’라는 것을 알게 된다. 채색도 이와 비슷하다. 다양한 밑그림과 결과물이 연결된 데이터를 입력하며 가르치면, 매번 새로운 그림을 보여줘도 AI가 ‘당황하지 않고’ 매끄럽게 펜선을 딸 수 있다.
그러나 아직 쓸 만한 데이터가 없어, 진도는 더디다. 장 리더는 “만화 관련된 채색, 스케치 쪽은 데이터가 거의 없다. 그나마 있는 것도 일러스트 쪽”이라며 “작가들과 손잡고 웹툰에 맞는 데이터를 구축해가고 있다”라고 설명했다.
사업에도 ‘기술’이 필요하다
네이버웹툰은 현재 일본, 미국, 인도네시아, 태국, 대만 등에 진출해 있다. 국내는 출판만화 시장보다 웹툰 규모가 크지만, 다른 나라는 아직 출판만화가 주를 이룬다. 장 리더는 “해외는 웹툰이 없다고 보면 된다. 일본도 최근에야 웹툰 시장이 확대되면서 온라인 만화가 늘고 있다”라고 말했다.
해외에서 웹툰 사업을 펼치고는 있지만 현지 작가들이 웹툰에 익숙하지 않아, 기존의 작품을 온라인으로 전환하는 과정을 거치기 일쑤다. 그런데 출판만화를 웹툰으로 전환하려면 콘텐츠를 새로 만드는 수준의 시간과 노력이 투입된다. W리서치 팀은 ‘웹툰 레이아웃 자동 변환 기술’로 출판만화를 웹툰으로 바꿀 때 패널, 캐릭터, 대사창 등을 자동인식해 플랫폼에 맞게 재배치하는 기술을 구현하고 있다.
W리서치팀이 생기기 전인 2017년부터 네이버웹툰이 개발해왔던 ‘툰레이더(ToonRadar)’도 이제 W리서치팀 소관이다. 툰레이더는 네이버 웹툰 이미지에 미리 심어 둔 사용자 식별 정보로 웹툰 불법 복제 및 유포자를 추적하는 시스템이다. 지난해 불법 웹툰 사이트 ‘밤토끼’ 운영자 허모씨를 특정하는 데도 툰레이더가 혁혁한 공을 세웠다. 장 리더는 “현재까지는 AI와 사람이 공조하고 있지만, 앞으로는 퍼가는 즉시 추적하고 대응하는 100% 자동화 시스템을 만드는 게 최종 목표”라고 말했다.
“세상에 없는 웹툰 기술 보여주겠다”
네이버웹툰은 웹툰 플랫폼 1위 사업자다. 그런 네이버웹툰이 AI 연구조직을 만들고, 기술에 투자하는 행보를 먼저 보여주는 것은 업계에 시사하는 바가 크다. W리서치팀은 아직 누구도 가지 않은 길을 걷고 있는 셈이다.
어려운 길인 만큼 함께 나아갈 동지가 필요하지만 그게 녹록지는 않다. 지금도 인력이 많은 것은 아니지만 한창 연구 인력을 구할 때는 딥러닝 개발 역량이 뛰어나면서도 ‘웹툰’의 가치에 공감하는 연구자를 찾는 것이 쉽지 않았다. 서비스를 출시하는 게 아니라 새로운 기술을 연구해야 하니, 막막함이 앞섰다. 장 리더는 “이게 맞나, 이 길이 맞나, 이런 고민을 많이 한다. 이렇게 하면 가능하겠지라는 생각과 다른 경우가 많고 예상 못한 변수도 많다”라며 “확신을 확인해가면서 가야 하는데 연구는 텀이 길다는 것이 어려운 일”이라고 털어놨다.
그래도, 뿌듯한 순간들이 그에게 ‘이 길이 맞다’는 확신을 준다. 웹툰 작가들이 ‘네이버웹툰에 올린 작품은 불펌이 덜 된다’고 말한 게 가장 보람찼던 기억이다. “기술적으로 잘 잡아내니까 네이버웹툰 것을 잘 퍼가지 않는다고 하더라고요.”
올해 목표를 묻자 장 리더는 “지금 연구하는 기술을 최대한 빨리 선보이는 것”이라 답했다. 딥러닝 기반 이미지 압축 기술은 올해 안에 선보일 가능성도 높다. 아직 풀어야 할 숙제가 남아 있다. 장 리더는 “딥러닝 기술이 제대로 동작하기 위해서는 스마트폰의 GPU 성능이 지금보다 더 좋아야 한다. 그래서, 실제로 쓸 수 있는 수준의, 압축률과 성능 사이의 트레이드오프를 보고 있다”라며 “해당 기술을 최대한 많은 사람에게 선보이고 싶지만 욕심내서 제공하지는 않을 거다. 스마트폰 사양이 전체적으로 올라가고 있으니까 OS 버전 몇 이상에만 지원한다든가 하는 식으로 선택적으로 활용하게끔 하려고 한다”라고 말했다.
그의 꿈은 작가와 독자 모두에게 즐거운 웹툰 생태계를 만드는 데 이바지할 수 있는, ‘세상에 없는 웹툰 기반 기술’을 개발하는 연구조직을 만드는 것. “장기적인 목표는 그런 관점에서 작가와 독자 모두가 즐거울 수 있는 기술을 확보해 나가는 겁니다. 웹툰의 미래 먹거리를 만들겠습니다.” 네이버웹툰의 W리서치가 웹툰 생태계에 미칠 긍정적인 영향을 기대해본다.
