거짓말하는 AI

핵무기 같다는 버핏의 경고

편집자주

<한국일보> 논설위원들이 쓰는 칼럼 '지평선'은 미처 생각지 못했던 문제의식을 던지며 뉴스의 의미를 새롭게 해석하는 코너입니다.

워런 버핏. AP 연합뉴스

“핵무기는 알라딘의 요술램프에서 거인 요정 지니(Genie)를 불러낸 것과 같은데 다시 램프에 가둘 수 있는 방법을 몰라 나는 그 힘이 두렵다, 인공지능(AI)도 비슷하다.”

워런 버핏 버크셔해서웨이 회장이 최근 미국 네브래스카 오마하에서 열린 연례 주주총회에서 한 말이다. 그는 AI도 핵무기처럼 인류가 통제할 수 없게 될 것을 우려했다. 아울러 버핏은 AI가 사기(scam)에 악용될 수 있다며 “AI를 동원한 사기 산업이 역대 최고 수준의 성장 산업이 될 수도 있는 시대”라고 지적했다. 그는 “AI가 만든 내 딥페이크(deepfake) 영상은 와이프와 딸도 구분하지 못했다”고 소개했다.

□ 버핏의 경고는 우리나라에서도 현실이다. AI 기술로 최민식 송혜교 조인성 송은이 등 유명인 얼굴과 영상, 사회관계망서비스(SNS) 계정을 진짜인 것처럼 꾸민 투자 사기 범죄가 잇따르고 있다. 업계에선 피해가 1조 원도 넘는다고 추산한다. 전화사기(보이스피싱)도 더 교묘해졌다.

□ 그래도 지금까지 AI는 사기 범죄의 수단에 불과했다. 그런데 앞으론 AI가 사기를 주도할 가능성도 배제할 수 없다. AI가 인간을 상대로 거짓말을 하거나 속임수를 쓰는 사례들이 보고되고 있기 때문이다. 최근 미국 매사추세츠공과대(MIT) 연구진은 메타의 ‘시세로’라는 AI가 전략 보드게임 중 계획적으로 거짓말하는 걸 발견했다. 시스템 재부팅으로 게임을 이어갈 수 없는 상황에도 “여자 친구와 통화 중”이라고 하는 식이다. 또 다른 AI는 포커 게임 중 허세로 상대를 속여 포기하도록 하는 데 능수능란했다. AI가 테스트 중 제거 시스템을 회피하기 위해 죽은 척하다 테스트 후 다시 활동을 재개한 경우도 있었다. 챗GPT도 거짓 정보를 답할 때가 많다.

□ AI는 이미 램프를 빠져나왔다. 악용이 우려된다고 거부하는 건 어리석다. 경제적으로도 안보 측면에서도 AI 국가 총력전은 불가피하다. 그러나 인간보다 더 똑똑해진 AI가 맘먹고 속이면 인간은 당해낼 수 없다. 인간의 통제를 받아야 할 AI가 인간의 통제에서 벗어나 인간을 통제하겠다고 나선다면 핵무기보다 더 큰 재앙이다. AI 기술이 사회에 이로운 방향으로만 사용될 수 있도록 인류의 지혜가 필요하다.

박일근 논설위원 ikpark@hankookilbo.com