매개변수 가장 적은 '파이-3 미니' 공개
메타·구글 등도 뛰어든 SLM 경쟁 가열
마이크로소프트 로고. 로이터 연합뉴스
오픈AI와 함께 생성 인공지능(AI) 시장을 주도하고 있는 마이크로소프트(MS)가 소형언어모델(SLM) '파이-3 미니'를 내놓고 SLM 경쟁에 뛰어들었다.
SLM은 챗GPT 등의 기반이 되는 대형언어모델(LLM)보다 훨씬 적은 매개변수를 가지고 학습된 AI 모델이다. AI 모델은 매개변수가 많을수록 성능이 고도화하는 만큼 LLM에 비하면 성능이 낮으나, 적은 컴퓨팅 자원으로 실행이 가능하고 반응 속도가 빠르며 에너지 효율도 높아 모바일 기기 등에 활용하기에 유리하다.
MS는 23일(현지시간) 지금까지 내놓은 AI 모델 중 가장 작고 가벼운 파이-3 미니를 공개했다. 파이-3 미니는 38억 개의 매개변수로 훈련됐다. 이에 비해 오픈AI의 LLM GPT-4의 매개변수는 5,000억 개로 추정된다.
파이-3 미니의 매개변수는 앞으로 출시될 매개변수 70억 개의 '파이-3 스몰'이나 140억 개의 '파이-3 미디엄'보다도 적은 규모다. MS 생성형 AI 연구 담당 부사장인 세바스티엔 부벡은 "파이-3는 (가벼운 만큼) 비용도 약간이 아니라 획기적으로 적게 든다"며 "비슷한 기능을 가진 다른 모델들과 비교했을 때 10분의 1 수준"이라고 말했다.
MS가 '초저렴'을 지향하는 SLM을 출시하면서 업계의 SLM 경쟁이 더 격화할 것이란 전망이 나온다. 지난해까지만 해도 AI 업계는 경쟁사보다 더 똑똑한 LLM을 더 빨리 개발하려는 경쟁이 치열했다. 그러나 올해는 대부분 업체들이 LLM부터 SLM까지 다양한 제품을 내놓고 있다. 다양한 수요에 맞춰 이용자를 확대하려는 전략으로 풀이된다.
구글도 지난 2월 간단한 AI 챗봇 등 개발 수요를 겨냥한 'SLM 젬마' 2B와 7B를 출시했다. 메타도 지난 18일 공개한 새 AI 모델 '라마3'를 매개변수가 700억 개인 LLM과 챗봇과 80억 개인 SLM으로 나눠 출시하기로 했다. '오픈AI 대항마'로 꼽히는 AI 스타트업 앤스로픽도 그래프가 있는 연구 논문을 읽고 빠르게 요약할 수 있는 '클로드3 하이쿠'를 출시했다.
용어설명
▲언어모델(Language Model): 대용량의 텍스트에서 언어 이해 능력과 지식을 학습하도록 훈련된 인공지능(AI) 모델을 뜻한다. 생성형 AI의 핵심기술로 알려져 있다.
▲매개변수: AI가 연산 과정에서 고려하는 다양한 변수를 일컫는다. 사람의 두뇌에서 신경세포가 정보를 주고받는 연결 부위인 시냅스에 비교되기도 한다. 이론상 매개변수가 많으면 많을수록 성능이 높아지고, 더욱 복잡하고 정교한 기능을 수행할 수 있다. 매개변수가 보통 1,000억 개 이상일 때 대형언어모델(LLM)로 분류된다.
기사 URL이 복사되었습니다.
댓글0