"혐오 댓글 걸러 드려요"

스마일게이트AI·사회과학 연구자 모임 언더스코어
3만 개 댓글 분석...혐오 발언 분류 프로그램 개발
"2년 전 이루다 사태 보며 혐오 표현 분류 필요 느껴"
연구 결과물 소프트웨어 공개 플랫폼 통해 공유

온라인 공간에서 퍼진 혐오 발언이 누구를 향한 혐오인지 짚어내는 '혐오 발언 판별기'를 함께 개발한 스마일게이트AI 김성현(왼쪽) 연구원, 강태영 언더스코어 대표. 소진영 인턴기자

"모기 같잖아. 난 인간처럼 생긴 게 좋아."

2020년 12월 인공지능(AI) 기반 챗봇 '이루다'는 '흑인'에 대한 의견을 묻는 질문에 이렇게 답했다. '나의 첫 AI 친구'라는 이름으로 뜨거운 관심 속에 출시된 이루다. 하지만 차별과 혐오의 언어가 발목을 잡았다. 갖가지 차별, 혐오 표현을 학습한 이루다는 중국인 비하, 인종 차별, 성소수자 등을 향한 부적절한 발언으로 2주 만에 서비스를 중단해야 했다. 이루다는 올해 3월 혐오 발언 데이터를 보강해 재출시됐다.

이루다 사태 이후 온라인 공간 속 혐오 발언 문제를 인식하고 뉴스 댓글과 인터넷 커뮤니티에 달린 댓글을 수집해 일일이 이름표를 붙인 사람들이 등장했다. 이들은 3만 개의 댓글을 수집하고 분석해 1년에 걸쳐 온라인 공간에서 생겨나고 퍼뜨려진 혐오 발언이 누구를 향한 혐오인지 짚어내는 '혐오 발언 판별기'를 개발했다.

'헤이트스코어(HateScore)'라는 이름의 혐오 발언 분류 프로그램은 지난달 13일 JTBC 시사교양 프로그램 '썰전라이브'에서 박경석 전국장애인차별철폐연대(전장연) 대표와 이준석 국민의힘 대표가 참석한 토론에서 박 대표가 들고 나온 분석 자료를 만드는 데에도 쓰였다. 이 자료를 만든 '익명의 데이터 분석가'가 자신의 사회관계망서비스(SNS)에 자료 제작 과정을 소개하면서 혐오 발언 판별기를 누가 왜, 어떻게 만들었는지에 관심이 쏠렸다.

"혐오 발언을 판별해주는 프로그램이 있다고요?"

김성현 스마일게이트AI 연구원이 지난달 경기 성남시 스마일게이트 본사에서 한국일보와의 인터뷰에서 '혐오 발언 판별기'에 대해 설명하고 있다. 스마일게이트 제공

스마일게이트 본사에서 만난 AI 전담센터 소속 김성현 연구원은 "인공지능을 개발했는데 처음 뱉은 말이 누군가를 혐오하는 말이었다"면서 "AI를 연구하면서 제일 먼저 마주한 문제가 혐오"라며 판별기를 개발한 배경을 설명했다. 인터넷에 존재하는 모든 데이터를 학습하고 그 결과를 바탕으로 활동하는 AI는 현실 세계의 언어를 그대로 따라하기 때문에 온라인 공간에서 널리 퍼진 혐오 표현을 어떻게 없애고 고칠지 고민하는 일은 고스란히 개발자들의 몫이 됐다.

AI 알고리즘을 너무 민감하게 설정하면 일상 생활 같은 맥락에서 이용자의 발언을 차단하거나 답변을 회피하는 일이 생기고, 반대로 너무 둔감하면 노골적으로 혐오 표현을 뱉어내거나 챗봇에게 가해지는 언어 폭력을 알아차리지 못하는 것이 문제였다. 악성 댓글을 탐지하는 AI 기반 '클린봇'이 작동하고 있다지만 여전히 불쾌한 댓글을 볼 수 있는 것도 그러한 이유다.

김 연구원은 "예를 들어, '페미니즘'은 그 자체로 혐오가 아닌데 혐오와 함께 자주 등장하니까 페미니즘이라는 단어만 나오면 그 댓글을 제한해 버리는 것이 기존 편향성 탐지 프로그램의 한계"라면서 "이제는 단순 욕설인지, 특정 집단을 향한 혐오인지 더 정확하게 판단하고 대응할 수 있다"고 설명했다.

게임 회사와 사회과학 연구자들의 협업

지식 콘텐츠 스타트업 '언더스코어' 강태영 대표가 지난달 한국일보 본사에서 혐오 발언 분류기 '헤이트 스코어(HateScore)'를 설명하고 있다. 서재훈 기자

이 프로젝트를 위해 스마일게이트는 사회과학 연구자들에게 손을 내밀었다. 학부에서는 사회학을, 대학원에서는 경영공학을 공부한 강태영 대표를 비롯해 컴퓨터를 잘 다루는 사회과학 연구진이 모인 지식 콘텐츠 스타트업 '언더스코어'는 인터넷 커뮤니티에 올라온 혐오 발언을 분석하고 어떤 혐오인지 이름표를 붙였다. 5일 서울 중구 한국일보에서 만난 강 대표는 "기존 연구를 바탕으로 일곱 가지 기준을 정했다"면서 "국가인권위원회와 유엔 등에서 발표한 보고서를 참고해 우리 사회에서 가장 자주 혐오의 대상이 되는 집단을 뽑았다"며 1년 동안의 제작 과정을 설명했다.

7개 기준은 지역, 종교, 인종‧국적, 여성‧가족, 성소수자, 가족, 기타로 정했고 기타에는 장애, 외모, 가난 등을 포함시켰다. 이후 언더스코어는 각각의 집단을 향한 혐오 표현을 키워드로 인터넷 커뮤니티를 집중적으로 살폈고, 해당 키워드가 포함된 게시글에 달린 댓글을 전부 모았다.

혐오 표현이 있을 법한 곳이라면 샅샅이 뒤져서 모은 댓글이 3만 개. 이를 연구원들이 하나씩 읽으며 판단하는 것이 주된 일이었다. 커뮤니티 안에서 쓰이는 은어의 뜻을 파악하고, 특정 집단을 조롱하는 용어가 어떻게 만들어졌는지 그 과정을 속속들이 알아야 했다. 강 대표는 "누가 봐도 혐오인 댓글도 많았지만, 일부는 혐오인지, 누구를 향한 혐오인지를 결정하기 어려운 경우도 있었다"며 "이런 댓글은 팀원 세 명 중 두 명이 동의하면 혐오로 판단하는 식으로 결정했다"고 설명했다. 혐오를 판단하는 과정에서 개인의 편견이나 가치관이 개입되는 것을 최소화하려는 노력이었다.

게임회사 '스마일게이트'와 지식콘텐츠 스타트업 '언더스코어'가 함께 개발한 혐오 발언 분류기를 소개하는 영상. 유튜브 캡처

이렇게 수작업한 댓글들은 한 발언 안에 겹쳐 쓰인 혐오 표현을 가려낼 수 있게 했다. 기존의 혐오 발언 관련 프로그램들은 단순하게 욕설이나 특정 단어를 감지하고 삭제하도록 했다. 하지만 스마일게이트AI와 언더스코어가 개발한 이 프로그램은 어떤 발언이 혐오인지, 누구를 향한 혐오인지 그리고 동시에 두 집단을 향한 혐오까지도 알아차릴 수 있다. 예를 들어 "쿵쾅이(페미니스트를 비하하는 말)들도 필리핀 거지는 싫지?"와 같은 발언에는 여성(쿵쾅이)과 인종(필리핀 거지), "한남('한국 남자'의 줄임말로 남성을 비하하는 말)은 21세기의 홍어(전라도를 비하하는 말)다"라는 발언엔 남성(한남)과 지역(홍어)을 향한 혐오가 있다고 판별된다.

이렇게 혐오 발언 판별기를 만들면 어디에 쓸까. 김 연구원은 "이 혐오발언 데이터셋을 어디에서 활용할 수 있을지는 지금 다 상상할 수 없을 것"이라고 했다. 처음 스마일게이트AI가 꿈꿨던 사람처럼 말하는 AI가 혐오 발언을 내뱉지 않도록 하는 것부터 게임 이용자들의 채팅을 관리할 때 정확하게 혐오를 감지하고 대응할 수도 있다. 그는 "먼 훗날의 이야기겠지만 상담원과 전화 통화 중에 혐오나 욕설이 감지되면 (상담원에게) 전달되기 전에 차단하는 방식도 가능할 것"이라고도 했다.

힘들지만 더 많이, 더 잘 들여다보아야 하는 사회의 민낯

게티이미지뱅크

프로젝트에서 시간과 노력이 가장 많이 들었던 작업은 혐오 발언을 일일이 보며 이름표를 붙이는 일이었다. 언더스코어에서 일일이 분류한 댓글을 스마일게이트AI에서 다시 한 번 살펴봤다. 김 연구원은 "검수 작업을 하면서 대놓고 혐오를 하는 표현을 보고 또 보는 작업이 이어졌다"며 "남을 조롱하는 은어들의 의미를 배우고, 뇌에 각인시키는 일은 거북스럽기까지 했다"고 했다. 그는 "사람이 다른 사람에게 어떻게 저렇게까지 혐오와 비난을 쏟아낼 수 있는지 이해하기 어려운 시간이었다"고 회상했다.

강 대표는 "혐오를 연구하는 사람들이 이런 노골적인 표현을 계속 본다는 게 결코 쉽지 않았다"며 "하지만 사회과학 연구자로서 우리 사회의 또 다른 민낯을 들여다보고 그것의 의미를 파악할 수 있었야 한다고 생각했다"고 강조했다. 이어 그는 "사회과학자들은 혐오를 늘 '토론하고 화합해야 하는' 추상적 가치의 영역으로만 이해한다"면서 "실무자 입장에서 혐오는 당장 닥친 현실의 문제로 더 절실하게 다가온다"고 설명했다.

강 대표는 이번 작업에 대해 혐오를 양적으로 연구한 드문 경우라고 의미를 부여했다. 그는 "우리 사회에 실제 존재하는 혐오를 어떻게 대할 것인지, 어떻게 파악할 것인지, 어떻게 대처할 것인지라는 실질적 대응이 필요하고, 그런 연구가 더 이뤄져야 한다"고 밝혔다.

공들인 소프트웨어 공개..."사회와 소통하고 AI연구자에게 도움 되기를"

스마일게이트AI와 언더스코어가 함께 개발한 혐오발언 판별기를 활용한 결과물. 어떠한 발언이 입력되었을 때 일곱 가지 분류 기준에 어떤 정확도로 혐오가 감지되는지 알 수 있다. 깃헙 캡처

이들은 이렇게 힘들게 만들고 있는 혐오 발언 판별기 프로젝트 결과물을 소프트웨어 공개 플랫폼 깃허브에 올렸다. 인공지능 연구자들에게 보탬이 됐으면 해서다. 김성현 연구원은 "자연어 처리 연구자들이 인공지능 윤리를 위해 우리의 데이터를 잘 활용해줬으면 하는 마음에서 공개했다"고 했다. 혐오라는 어려운 숙제를 풀기 위해 스마일게이트뿐만 아니라 다른 연구자들이 함께해주기를 바라는 마음도 있었다. 그는 "실제로 소프트웨어 공개 이후 다른 연구자들이 새롭게 생기는 혐오 용어나 발언을 꾸준히 추가해 다양한 사례가 모여 프로그램을 완성하고 있다"고 했다.

강 대표는 그러나 공개 이후 "(첨예한 갈등에 놓인) 양쪽에서 모두 비난을 한다"며 답답해했다. 그는 "남초커뮤니티에서는 자신을 혐오자라고 했다며 분노했고, 여초커뮤니티는 왜 남성에 대한 혐오가 혐오 판별기에 들어가 있느냐고 하더라"며 쓴웃음을 지었다.

또 혐오를 걸러내고자 하는 움직임에 '혐오도 표현의 자유'라고 주장하는 사람도 있다고 했다. 강 대표는 "주로 혐오 발언을 하는 사람들이 그렇게 변명한다"면서 "이미 표현의 자유는 주어져 있는 것"이라고 반박했다. 그는 이어 "지금도 혐오 발언을 한다고 누가 잡아가지 않는다"면서도 "하지만 같은 사회를 구성하는 시민으로서 타인을 향한 공격적인 언사나 혐오가 있을 때 어떤 조치를 취하는 것은 당연한 일이라고 생각한다"고 덧붙였다.

언더스코어와 스마일게이트AI는 앞으로도 데이터를 활용해 혐오와 사회 이슈를 정확하게 파악하고 대응하기 위해 꾸준히 노력할 것이라는 포부를 밝혔다. 김성현 연구원은 "앞으로는 문단 사이에서 나타나는 어려운 맥락 속에 있는 혐오 표현까지 잡아낼 수 있는 프로그램을 만들 계획"이라고 했다. 강태영 대표는 "빅데이터 분석을 통해 신종 코로나바이러스 감염증(코로나19)과 중국인 혐오 발언의 상관 관계, 댓글을 통해 파악하는 정치 성향과 공격성 등을 연구할 것"이라고 밝혔다.

소진영 인턴기자