KMMLU 평가서 한국 특화 지식 GPT-4 앞서
최수연 네이버 대표가 지난해 8월 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 '팀 네이버 콘퍼런스 단(DAN) 2023'에서 '하이퍼클로바X' 관련 발표를 하고 있다. 네이버 제공
네이버의 초거대 인공지능(AI)인 '하이퍼클로바X'가 한국판 AI 성능 평가 체계 'KMMLU(Measuring Massive Multitask Language Understanding in Korean)'에서 오픈AI나 구글의 생성형 AI보다 높은 점수를 기록했다.
네이버클라우드는 하이퍼클로바X가 이 같은 성과를 거뒀다고 27일 밝혔다. KMMLU는 국내 유명 오픈소스 언어모델 연구팀인 '해례(HAE-RAE)'가 이끄는 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학·기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5,030개 문항으로 구성돼 있다.
KMMLU의 평가에선 수학적 추론 능력과 같이 전 세계 공통적으로 적용 가능한 광범위한 지식을 묻는 문항 비중이 약 80%를 차지한다. 한반도 지리, 국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항은 20%다. 특히 한국어 원본 시험 문제들로 구성돼 AI의 한국어 이해 능력을 더 정확하게 측정할 수 있다고 한다. 이런 평가에서 하이퍼클로바X는 오픈AI의 GPT-3.5-터보(Turbo)와 구글의 제미나이 프로(Gemini-Pro)보다 높은 점수를 기록했으며 한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 받았다.
네이버클라우드는 KMMLU를 통해 입증된 성능 경쟁력을 바탕으로 하이퍼클로바X를 보안과 성능을 모두 갖춘 '소버린(Sovereign) AI' 솔루션으로 발전시켜 나갈 계획이다. 성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 "자국어 중심 AI에 대한 전 세계적 수요가 관찰되는 만큼 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 글로벌 시장 진출에도 속도를 낼 것"이라고 말했다.
기사 URL이 복사되었습니다.
댓글0