[H커버스토리] 증강과 가상현실의 미래는

‘증강+가상’ 혼합현실 만들어

화성 표면 걷는 느낌 구현하고

집을 짓기 전 살아보거나

재난 대비 기술도 개발 가능

궁극의 목표는 홀로그램

별도의 장비 없이도

‘360도 입체영상’ 볼 수 있어야

망막 디스플레이 기술 각광

2030년 서울의 한 초등학교. 선생님이 “오늘은 이순신 장군에 대해 공부해볼까요”라고 하자 교실은 어느 새 전남 해남과 진도 사이 울둘목 가상 공간으로 변한다. 학생들은 명량해전을 진두지휘하는 이 장군의 모습을 눈 앞에서 마치 현실인양 체험한다. 모바일 게임 ‘포켓몬 고’에서 스마트폰 화면에 나타난 포켓몬은 주변 배경과 어울리지 않아 가짜임을 쉽게 알아챌 수 있다. 그러나 증강현실(AR) 이후 3차원 영상 기술이 만들어낼 미래 세상에선 진짜와 가짜를 무 자르듯 구분하는 게 쉽지 않다. 영화 속 장면들이 가상과 현실을 넘나들며 인류 앞에 펼쳐질 것으로 보인다.

국립과천과학관은 다음달부터 색다른 체험을 선보일 예정이다. 관람객이 머리에 디스플레이 장치(HMD)를 착용하고 돌아다니면 여기저기서 가상의 공룡이 나타나는 것이다. 손을 내밀어 공룡에게 먹이를 주거나 활을 쏠 수도 있다. 관람객 개인별 증강현실 체험을 과학관에 도입하는 첫 시도다. 실제 전시관을 배경으로 가상의 공룡을 만난다는 점에서 포켓몬 고와 비슷하지만, 이를 개발한 한국과학기술연구원 영상미디어연구단은 포켓몬 고보다 한 단계 진보한 증강현실이라고 소개했다.

증강현실로 나타난 익룡에게 손을 뻗어 화살을 쏘는 장면. 한국과학기술연구원(KIST)이 개발한 이 체험기는 국립과천과학관 자연사관에 다음달 도입될 예정이다. KIST 제공
한 남성이 한국전자통신연구원(ETRI)이 개발한 가상현실 디스플레이 장치를 착용하고 4차원 사파리 여행을 체험하고 있다. ETRI 제공

스마트폰 위성위치확인시스템으로 게임하는 사람의 이동경로를 따라가는 포켓몬 고와 달리 공룡 체험기는 전시관 전체를 3차원 지도로 저장해놓은 뒤 공간의 특징과 착용자의 시선 등을 비교해 위치를 파악한다. 연구단의 황재인 선임연구원은 “뇌가 위치를 인식하는 원리와 비슷해 오차가 작다”고 설명했다. HMD에 공룡이 살던 시대의 영상을 넣으면 가상현실이 된다. 이처럼 뇌의 작동 원리를 모방하는 증강현실과 가상현실(VR)도 상용화가 코 앞이다. 과학자들은 이제 둘을 섞고 있다. 실제와 가상 세계를 동시에 보여주는 혼합현실(MRㆍMixed reality)을 만들기 위해서다.

지난해 한 국제학회에선 유럽 과학자들이 혼합현실 스키를 선보였다. 스키 선수가 오스트리아에서 실제 스키 코스를 내려오는 동안 그리스와 독일에 있는 두 게이머는 게임용 스키를 타며 3명이 시합을 한 것이다. 선수는 경쟁자들 위치를 HMD 디스플레이로 실시간 확인했고, 게이머들은 동작감지 센서가 설치된 스키 장비 위에서 코스 영상을 보며 움직였다. 결과는 게이머들의 승리. 이 경기는 선수 입장에선 증강현실, 게이머에겐 가상현실이다. 선수와 게이머들이 보는 영상을 한 화면에서 동시에 즐긴 관객들에겐 혼합현실이다. 경기를 지켜본 과학자들은 유명 선수와 누구나 혼합현실 경기를 즐길 수 있는 새로운 스포츠 산업이 생겨날 가능성을 점쳤다.

재난이나 건설, 의료, 관광, 국방, 교육 등 혼합현실이 눈독을 들이는 분야는 무궁무진하다. 일본 주오대 연구진은 해안가의 평소 실제 영상과 지진해일이 덮칠 때의 가상 장면을 연결하는 방식으로 재난 대비 기술을 개발하고 있다. 미국 항공우주국(NASA)과 마이크로소프트가 최근 내놓은 화성 혼합현실 체험기는 현실 공간에서 화성 표면을 걷고 있는 느낌을 구현해 큰 호평을 받았다. 한국전자통신연구원은 가상의 남극과 실제 연구실 영상을 합쳐 가짜 펭귄과 진짜 사람이 한 공간에 있는 것처럼 상호작용하게 만들었다. 이런 기술들을 응용하면 집을 짓기 전 미리 살아보거나, 비행기를 타지 않고 해외여행을 경험하는 것도 가능해질 전망이다.

컴퓨터로 구현된 가상의 남극 영상과 카메라에 잡힌 현실 배경이 모니터에 합쳐져 나타나고 있다. 과학자들이 손을 휘두르면 가상의 펭귄이 피하는 등 진짜와 가짜 영상이 상호작용할 수 있다. 한국전자통신연구원(ETRI) 제공

관건은 얼마나 몰입할 수 있느냐다. 진짜인지 가짜인지 몰라야 몰입도가 높아진다. 증강현실과 가상현실의 경계를 허물어야 한다는 뜻이다. 사진 두 장을 잇는 건 비교적 쉽지만 진짜와 가짜 3차원 영상을 티 안 나게 연결하는 건 어렵다. 이길행 한국전자통신연구원 차세대콘텐츠연구본부장은 “특히 서로 다른 3차원 동영상 속 원근감을 실시간으로 맞추는 건 아직 힘들다”고 말했다.

진짜 같은 혼합현실이 만들어져도 HMD 같은 장비를 쓰면 한계가 있다. 궁극의 목표는 결국 홀로그램이다. 별도 장비 없이도 가상의 입체 영상을 360도 전 방향에서 볼 수 있는 기술이다. 홀로그램 상대와 대화하는 영화 ‘스타워즈’ 속 장면을 구현하려면 ‘초다시점’ 영상을 만들어 실시간 전송해야 한다. 일반적인 3차원 안경은 비뚤게 쓰면 보이는 영상도 틀어진다. 안경의 시점이 하나라 특정 방향에서 봐야 제대로 된 입체 영상이 나타나는 것이다. 여러 시점에서 바라본 영상을 통합하면 진짜 같은 3차원 홀로그램이 가능하다. 최근 출시된 3차원 TV에는 16시점, 실험실에선 108시점 입체 영상도 구현됐지만, 스타워즈가 현실이 되려면 시점이 수백개를 넘어야 한다. 최근 미국 스타트업 ‘매직 리프’는 체육관에 앉아 있는 학생들이 특별한 장비 없이 바닥에서 가상의 고래가 튀어 오르는 장면을 보고 있는 동영상을 만들어 화제가 됐다. 곧 증강현실과 홀로그램이 결합한 기술이 등장해 지금까지와는 전혀 다른 교육환경을 제공할 것이라는 암시다.

미국 스타트업 ‘매직 리프’가 최근 공개한 동영상 화면. 증강현실과 홀로그램 기술이 결합하면 특별한 장비 없이 관람객들이 체육관 바닥에서 가상의 고래가 튀어 오르는 장면을 볼 수 있다는 의미다. 매직 리프 홈페이지
영화 ‘스타워즈’의 한 장면. 등장인물들이 홀로그램 영상으로 나타난 상대방과 자연스럽게 대화를 나눈다. 3차원 영상 기술의 궁극적인 목표는 이를 현실화하는 것이다.

홀로그램 영상 정보를 전달하는 수단은 현재 레이저다. 레이저 대신 자연광을 이용하면 장비가 줄어들 것이다. 그래서 각광받는 기술이 망막 디스플레이다. 가상 영상 정보를 빛에 담아 눈으로 직접 쏘면 그 영상이 눈 앞에 펼쳐지는 방식이다. 실제 눈으로 보는 것처럼 멀면 흐리고 가까우면 진해야 하므로 여러 시점과 해상도를 갖는 수많은 영상을 시선과 거리에 따라 정교하게 구현해야 한다. 지금의 디스플레이 기술로는 어림 없을 만큼 정보량이 어마어마할 수밖에 없다.

영화 ‘마이너리티 리포트’에서 주인공은 허공에 떠 있는 홀로그램 기계들을 손으로 자유롭게 작동시킨다. HMD를 쓰고 만난 증강현실 속 공룡에게는 지금도 손으로 먹이를 줄 수 있지만, 마이너리티 리포트 같은 상호 작용은 갈 길이 멀다. 마이크로소프트는 손 모양과 움직이는 속도, 거리 등이 달라져도 가상 영상과 자연스럽게 상호작용하는 방법을 연구하며 이 기술에서 가장 앞섰다는 평가를 받고 있다. 이런 기술이 상용화한다면 집에서 가상의 애완공룡을 키우고, 교실에선 역사 속 위인들을 불러내 이야기를 들을 수 있게 될 것이다. 한편에선 가상과 현실이 뒤섞이는 미래 사회가 겪을 혼란을 우려한다. 이상욱 한양대 철학과 교수는 “가상의 세계에 어떤 법적, 윤리적 잣대를 적용할지 논의를 시작해야 할 시점”이라고 말했다.

미국 스타트업 ‘매직 리프’가 공개한 사무실 허공의 태양계 영상. 지구에 초점이 맞춰져 뒤쪽 사람과 물체들은 흐릿하게 보인다. 3차원 가상 영상을 실제 눈으로 보는 것 같은 효과를 내는 망막 디스플레이 기술을 의미한다. 매직 리프 홈페이지
영화 ‘마이너리티 리포트’의 기술고문을 맡았던 미국 컴퓨터공학자 존 언더코플러가 한 강연에서 홀로그램과 인간이 상호작용하는 영화 속 장면을 설명하고 있다. 이런 장면을 실제 구현하기 위한 기술이 적용된 장갑을 끼었다.

임소형 기자 precare@hankookilbo.com

web_cdn 저작권자 © 한국일보 무단전재 및 재배포 금지

정치 최신기사