박근태 SK텔레콤 미래기술원 책임연구원은 지난 8일(현지시간) 미국 콜로라도 덴버에서 열린 아파치(Apache) 재단의 글로벌 콘퍼런스 ‘아파치콘’에서 빅데이터 분석ㆍ처리 소프트웨어(SW)인 ‘타조(TAJO)’에 대한 사례 발표를 했다.
아파치재단은 오픈소스(프로그램개발과 결과물을 원하는 누구나 자유롭게 공유하는 것) 연구 및 활성화를 위해 1999년 설립된 기관. 이날 컨퍼런스는 최근 시대적 화두로 떠오른 ‘빅데이터’ 관련 프로젝트를 중심으로 최고 수준의 아파치 오픈 소스 프로젝트들만 초청한 자리였다. 타조는 앞서 지난주 아파치재단의 ‘최고수준(탑 레벨) 프로젝트’로 뽑힌 터였다.
박 연구원은 10일 본지와 통화에서 “실리콘밸리 등 미국 연구진이 점령해 오다시피 한 빅데이터 관련 SW분야에서 한국 연구진이 등장한 것 자체를 신선한 충격으로 받아들였다”고 말했다. 실제로 아파치재단 측에선 타조를 몇 개월 동안 적용했더니 빅데이터의 대세로 여겨져 온 SW ‘하이브’에 비해 속도는 5배 빨라지고, 데이터 처리 업무량은 70% 이상 줄이는 효과를 거뒀다며 큰 관심을 보였다고 한다.
타조는 SK텔레콤 미래기술원 데이터기술 연구소와 국내 빅데이터 플랫폼 전문기업인 그루터가 손잡고 만들었다. 타조를 처음 개발한 그루터의 최현식 박사는 “국내 연구진이 주도한 프로그램 중 아파치 재단의 탑 레벨에 오른 건 매우 드문 일”이라며 “아파치재단의 선정 절차가 워낙 까다롭고 수준이 높기 때문에 이를 계기로 전 세계 빅데이터 SW 시장에서 당당히 경쟁할 수 있게 됐다”고 말했다.
특히 타조는 대기업과 중소기업이 함께 한 ‘소프트웨어 상생’ 의 결과라는 점에서 의미가 크다는 평가다. 지금까지는 주로 대기업이 협력업체들에게 제조기술이나 마케팅 노하우를 ‘가르치는’ 것이 일반적이었지만 타조는 SK텔레콤의 풍부한 자본과 데이터, 그루터의 기술력이 어우러져 이뤄낸 결과물이다.
SK텔레콤과 그루터가 만난 것은 지난해 초. SK텔레콤 미래기술원은 1년 전부터 어떻게 하면 비용은 적게 들고 처리 시간은 줄이면서 원하는 빅데이터 처리 결과를 얻을 수 있을지 연구 중이었다. 이재영 미래기술원 박사는 “가장 많이 쓰이는 데이터 분석 프로그램인 하둡, 하이브 등은 다소 복잡하고 느렸다”며 “게다가 외부 프로그램을 가져다 쓰기 때문에 우리가 원하는 방향으로 데이터를 활용할 때마다 추가 작업이 필요해 번거로웠다”고 전했다. 그렇다고 처음부터 만들기에는 시간이 촉박하다고 보고 오픈소스를 이용해 보자고 의견을 모았다.
마침 그루터가 타조를 만들고 있다는 소식을 접한 기술원 측은 손을 잡아보자고 제안을 했다. 당시 타조는 아파치재단이 성공 가능성 있는 SW들을 대상으로 뽑는 ‘인큐베이터 프로젝트’ 에 뽑히면서 기술력을 인정 받은 상태였다. 최현식 박사는 “타조가 실제 데이터 분석에 쓰일 경우 어떤 문제가 생길 수 있는 지를 따져 보기 위해 꼭 필요한 데이터가 턱 없이 모자랐다”며 “SK텔레콤의 풍부한 데이터를 활용하면 더 없이 좋겠다고 봐서 흔쾌히 손을 잡았다”고 밝혔다.
SK텔레콤은 연구원 5,6명을 핵심 기술 개발에 투입했다. 보통 대다수 국내 기업들은 외국산 프로그램을 사들여 활용하는 것과 달리 직접 개발에 뛰어든 것도 이례적이다. 이재영 박사는 “빅데이터의 성공 여부는 우리 담당자가 우리 데이터를 우리 형편에 맞게 자유자재로 처리할 수 있느냐에 달려 있기 때문에 SW 개발에 직접 참여해야 하다고 봤다”고 말했다.
양측 연구진은 1주일에 한 번 이상 직접 만나 의견을 나누며 타조에 올인했다. 뿐만 아니라 링크드인, 인텔 등 유명 IT기업 및 미국 항공우주국(NASA) 크리스 매트만 교수까지 개발에 참여했다. 타조는 이 덕분에 전파 천문학, 공중 눈 관측소등 나사 프로젝트에도 적용 가능성이 높아지고 있다.
권영길 그루터 대표는 “타조는 아파치재단의 인큐베이팅 프로그램에 진입한 지 1년 만에 탑 레벨에 오르는 기염을 토했다”며 “해외 개발자들은 대형 통신사가 직접 개발에 참여하고 풍부한 데이터를 가지고 타조를 검증했다는 점이 큰 역할을 했다고 평가하고 있다”고 전했다.
박상준기자 buttonpr@hk.co.kr
기사 URL이 복사되었습니다.
댓글0