네이버클라우드, 하이퍼클로바X 한국판 AI 성능 평가서 오픈AI·구글보다 높은 점수 기록

[이코노믹데일리] 네이버클라우드는 자사의 대규모 언어모델(LLM) 하이퍼클로바X(HyperCLOVA X)가 한국판 AI 성능 평가 체계인 KMMLU(Measuring Massive Multitask Language Understanding in Korean)에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 기록했다고 27일 밝혔다.

KMMLU는 국내의 대표적인 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끈 AI 성능 평가 지표 구축 프로젝트다.  인문학, 사회학, 과학기술 등 45개 분야에서 전문가 수준의 지식을 묻는 35,030개 문항으로 구성된 평가 체계다.  이는 수학적 추론 능력과 같은 보편적 지식(80%)과 한반도 지리, 국내법 등 한국 특화 문제 해결 능력(20%)을 종합적으로 평가한다.

하이퍼클로바X는 KMMLU 평가에서 오픈AI의 GPT-3.5-Turbo와 구글의 Gemini-Pro보다 높은 점수를 기록하며, 일반 지식과 한국 특화 지식 모두 우수한 성능을 보여주었다.  특히, 한국 특화 지식 기준에서는 오픈AI의 GPT-4보다도 높은 점수를 기록하며, 교육, 법률 등 로컬 정보의 중요성이 큰 산업 분야에서 높은 유용성을 입증했다.

네이버클라우드는 하이퍼클로바X의 우수한 성능을 기반으로 하이퍼클로바X를 보안과 성능을 모두 갖춘 '소버린(Sovereign) AI' 솔루션으로 발전시켜나갈 계획이다.  지난해 10월에는 고객사가 폐쇄된 사내망에서 하이퍼클로바X를 사용하며 데이터 유출을 방지할 수 있는 하이브리드 클라우드 서비스 '뉴로클라우드 포 하이퍼클로바X(Neurocloud for HyperCLOVA X)'를 출시했고, 향후 다양한 기업용 솔루션도 선보일 예정이다.

성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 "하이퍼클로바X는 세계 공통의 보편 지식에 한국 특화 문제 해결 능력을 더한 소버린 AI로, 우수한 성능, 강력한 보안을 갖춘 솔루션과 함께 국내 산업계 전반에서 도입이 이뤄지고 있다." 고 말했다. 또한 "자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것"이라고 덧붙였다.

한편 네이버클라우드는 KMMLU 설계 과정에도 참여하며, AI 모델들의 한국어 이해 능력을 보다 객관적으로 평가하고 우수한 AI 개발을 위한 환경 조성에 기여하고 있다.  2021년에는 30여 곳 기업과 대학의 자연어처리 전문가들과 함께 한국어 자연어 이해 벤치마크 'KLUE(Korean Language Understanding Evaluation)'를 구축했으며, 지난해에는 사회과학, 법학 등 여러 학문 분야와의 협력 연구를 통해 국내 초대규모 언어모델의 신뢰성 향상을 위한 한국어 데이터셋도 공개했다.