키워드 몇 개 입력했더니 낯뜨거운 사진 뚝딱… 'AI 무한 탈선'

실제 사람 수준의 이미지 만드는 AI 서비스 주목
일부선 음란물 만드는데 활용…방법 공유도 활발
"AI 확산에 예상 못 한 문제, 사회적 논의 필요"

한 온라인 커뮤니티에 'OOO 마운틴'을 검색했더니 생성 AI를 활용한 성인 이미지를 쉽게 찾을 수 있었다. 온라인 웹사이트 캡처

구글에서 'OOO 마운틴 사진'을 검색하면 엉뚱하게도 '산' 사진이 아닌 음란물이 등장한다. 게시글에는 '진짜 같다' '실제 사람보다 낫다' 등의 반응이 주를 이룬다. 모르는 사람이 보면 성인 모델의 사진이라고 생각할 수 있지만, 사실 인공지능(AI)을 통해 제작한 가상의 이미지다.

OOO 마운틴이란 AI 업계에서 수십 년째 극복하지 못한 이론인 '불쾌한 골짜기(uncanny valley)'를 반대로 빗댄 말이다. 불쾌하다는 표현을 쓴 것은 인간이 로봇 등을 볼 때 해당 존재와 인간이 비슷할수록 호감도도 높아지지만 일정 수준에 다다르면 오히려 불편함을 느낀다는 이유에서다. 최근 등장한 생성 AI 서비스들은 불쾌한 골짜기를 넘어 사람과 구별하기 힘들 정도의 이미지를 만들고 있다는 뜻이다.

AI 기술이 빠르게 발달하면서 마치 실제 인물 사진 수준의 이미지를 생성하는 서비스도 관심을 받고 있다. 문제는 이를 악용해 AI 기술로 음란 이미지를 만들고 심지어 이를 만드는 방법까지 공유하면서 논란이 일어나고 있다는 점이다. 사용자가 음란물을 스스로 만들 수 있다보니 웹사이트 접근을 차단하거나 음란물 유포자를 처벌하는 기존 규제로는 문제를 미리 막기도 쉽지 않다는 지적이 나온다.

"상의 벗긴 이미지 만들려면 어떻게 해야 하나요?"

생성 인공지능(AI) 서비스에 특정 프롬프트를 입력하면 딱 들어맞는 이미지를 얻을 수 있다. 다만 주요 생성 AI 서비스의 경우 이용자가 음란물을 만들 수 없게 필터링 기술을 적용한다. 사진은 카카오브레인의 생성 AI 비디스커버에 고양이 관련 프롬프트를 입력한 결과. 카카오브레인

3일 디시인사이드, 아카라이브, 루리웹 등 온라인 커뮤니티에서는 이미지 생성 AI 서비스를 활용해 만든 음란물을 쉽게 찾아볼 수 있다. 이런 게시글에는 어떤 프롬프트(AI에 입력하는 키워드)를 썼는지 묻는 댓글이 이어진다. 한 이용자는 대놓고 "저 사진에서 상의를 벗기려면 어떤 프롬프트를 추가해야 하나요"라고 묻기도 했다.

생성 AI 서비스들은 사용자가 입력한 단어나 문구를 바탕으로 관련 이미지를 만들어낸다. 사용자가 귀여운 고양이 사진을 만들기 위해 '고양이' '털이 많은' '눈이 큰' 등의 프롬프트를 입력하는 식이다. 음란물도 같은 방식으로 제작된다. 특정 프롬프트 몇 개만 넣으면 AI는 그에 맞는 성인 콘텐츠를 보여준다.

사실 주요 생성 AI 서비스들은 이런 시도를 막기 위해 필터링 기술을 쓰고 있다. 카카오브레인은 생성 AI 서비스 '비디스커버'에 2,000개 이상의 금칙어를 뒀으며, 필터링 기술을 도입해 피부가 일정 이상 노출된 이미지 생성을 막고 있다. 또 필터링 기술을 우회하는 시도도 막기 위해 사람이 직접 블라인드 처리를 하기도 한다.

스페인선 AI로 아동 포르노 생성한 프로그래머 체포

해외 일부 생성 인공지능(AI)은 자체 필터링 기술을 적용하지 않아 누구나 음란 이미지를 만들 수 있다. 게티이미지뱅크

하지만 해외 특정 AI 서비스의 경우 이런 필터링 기술이 적용되지 않은 것으로 전해진다. 여기에는 입력이 안 되는 금칙어도 없으며 당연히 성인 인증 절차를 거치지 않는다. 이러다 보니 미성년자를 포함해 누구나 성인 이미지를 제작하는 게 가능하다. 심지어는 아동청소년의 성보호에 관한 법률(아청법)을 어길 수 있는 이미지도 마음껏 만들어 낼 수 있는 것으로 전해진다.

이에 AI 생성 이미지를 공유하는 한 온라인 커뮤니티는 해외 인터넷 프로토콜(IP)에 접속한 이용자만 게시글을 접속할 수 있게 제한하고 있다. 아청법이나 음란물 유포에 관한 처벌 등 혹시 생길 수 있는 문제를 차단하겠다는 이유다. 대부분의 이용자는 가상사설망(VPN)을 통해 우회해 이 사이트에 들어오는 것으로 알려진다.

해외에서는 이미 생성 AI를 활용한 범죄가 사회 문제로 떠오르고 있다. 지난달 스페인에서는 생성 AI 서비스를 활용해 아동 포르노를 생성하고 공유한 컴퓨터 프로그래머가 체포되는 일도 있었다. 영국 국가범죄수사국(NCA)은 AI를 활용한 아동 성범죄를 대응하기 위한 연구를 시작했다.

AI로 기존에 없는 얼굴 생성, 현행법 처벌 피할 수도

법조계에서는 생성 AI로 만든 음란물의 경우 딥페이크 처벌법이 적용되지 않을 수 있다고 지적한다. 게티이미지뱅크

문제는 기술 발전에 따라 생겨난 새로운 유형의 범죄인 만큼 어떤 잣대로 처벌할 수 있는지 분명하지 않다는 점이다. 대표적으로 생성 AI로 만든 음란물은 'N번방' 사건을 계기로 2020년 6월 시행된 '딥페이크 처벌법'을 피해갈 수 있다는 해석도 나온다. 이 법은 누군가의 얼굴이나 신체 등을 허위 성 착취물로 만들거나 배포하면 처벌을 받는 내용이다. 하지만 생성 AI는 수많은 인물의 얼굴을 학습해 가상의 인물을 만들어낸 만큼 해당 법에 적용받지 않을 수 있다는 것이다. 같은 이유로 초상권 침해나 명예 훼손을 적용하는 것도 애매할 수 있다.

서아람 법무법인 SC 변호사는 "생성 AI로 성인물 이미지를 만들어 게시하고 공유하는 커뮤니티는 민·형사적으로 문제가 될 여지가 크다"면서도 "수사와 처벌은 어려워질 수 있다"고 말했다. 그는 이어 "AI 생성 이미지의 바탕이 되는 원본 이미지를 찾아내기 어려울 수 있다"며 "여러 이미지를 섞어 식별이 어렵게 만든 경우 AI 알고리즘에 따라 우연히 해당 이미지가 만들어졌다고 주장할 수 있다"고 말했다.

전문가들은 AI의 활용 영역이 빠르게 늘고 있는 만큼 다양한 사회적 문제를 서둘러 논의해야 한다고 목소리를 높인다. 전창배 한국인공지능&윤리협회 이사장은 "AI가 등장하면서 처음 겪는 이슈가 더 많이 생길 것"이라며 "제도를 만드는 데 시간도 필요하고 완전히 차단하기도 어려운 만큼 무엇보다 기업과 이용자가 따를 수 있는 가이드라인을 만들어야 한다"고 밝혔다.

안하늘 기자 ahn708@hankookilbo.com