'응삼이' 버추얼휴먼 2개월 만에 연출

‘응삼이’ 버추얼휴먼 연출 개념도

‘응삼이’ 버추얼휴먼 이벤트는 기획부터 TV 방영까지 약 2개월이라는 짧은 기간에 준비됐다. ‘적대관계생성신경망(GANㆍGenerative Adversarial Network)’이라는 기계학습(ML) 기술을 활용한 응삼이 딥페이크를 위해 고 박윤배씨 생전 모습 사진 소스와 전원일기 출연 동영상, 음성파일, 기타 휴먼데이터를 수집해 메인컴퓨터에 딥러닝 프로세싱을 하는 게 기초작업이었다. 연출ㆍ제작팀은 딥러닝 프로세싱의 오류 여부를 진단하기 위해 응삼이의 표정 등이 제대로 구현되는지 주요 페이크 영상마다 프로그램을 통해 백만 번 이상 보정하는 과정을 거쳤다.

실제 방송 현장에선 그래픽 ①연출데스크가 현장 지휘부 역할을 맡는다. ②섀도 액터 촬영카메라가 섀도 액터를 촬영한 소스 중 영상은 ⑤박윤배 휴먼데이터 컴퓨팅 솔루션으로, 음성은 ④박윤배 음성생성(필터링) 솔루션을 거쳐 ⑥섀도 액터 영상과 음성이 응삼이 버추얼휴먼으로 딥페이킹 된다.

⑦메인 모니터에 응삼이 버추얼휴먼이 나타나 ‘전원일기’ 출연 동료 배우들과의 실시간 인터랙티브 재회가 시작된다. 메인 모니터에 설치된 ⑧인터랙티브 카메라ㆍ마이크를 통해 동료 배우들의 대화와 몸짓, 감정 등이 ①연출데스크로 피드백된다. 연출데스크의 섀도 액터는 동료 배우들의 반응에 상응하는 즉각 연기를 하고, 그게 실시간 딥페이크 과정을 거쳐 메인모니터의 버추얼휴먼 영상으로 순환한다.