카카오브레인, 이미지와 텍스트 모두 입력가능한 생성형AI '허니비' 첫공개

[이코노믹데일리] 카카오브레인은 멀티모달 언어모델(Multimodal Large Language Model· MLLM) 오픈 소스 ‘허니비(Honeybee)’를 깃허브에 공개했다고 19일 밝혔다. 기존 언어 중심의 명령어 입력을 이미지까지 확대한 것이 대표적인 특징이다.

카카오브레인 관계자는 “현재 MLLM에 대한 연구는 공개된 모델의 수가 적고, 학습 방법 역시 자세히 공개되지 않아 개발이 어려운 상황”이라며 “MLLM의 발전에 기여하고자 자체 개발한 ‘허니비’의 소스코드를 공개하기로 결정했다”고 설명했다.

MLLM은 이미지와 명령어(프롬프트)를 입력하면, 언어로 답변하는 모델이다. 언어로만 입력과 출력을 하는 대규모 언어모델(Large Language Model)에서 확장된 형태라고 할 수 있다. MLLM은 이미지와 텍스트를 모두 입력할 수 있기 때문에 이미지에 담긴 장면을 묘사하거나 이미지와 텍스트가 혼합된 콘텐츠에 관한 질문을 이해하고 답변할 수 있다. 

이미지에 담긴 장면을 묘사해 입력하거나 이미지, 텍스트 혼합 자료를 입력해도 이해가 가능하다. ‘농구 경기 중인 두 선수’ 이미지와 함께 ‘왼쪽 선수는 몇번 우승했나요’라는 질문을 영어로 입력하면, 이미지 내용과 질문을 종합적으로 이해하고 답변을 생성할 수 있다.

카카오의 멀티모달 언어모델 허니비의 사용 예시. 개 등 위에 고양이가 올라타 있는 사진과 함께 “두 동물의 대화를 써줘”라고 입력하면 “냐옹~덩치 큰 친구야 태워줘서 고마워(고양이), 왈왈~천만에 네가 등에 있어서 참 좋아(개)”라고 가상의 대화를 만들어 주는 결과물을 얻을 수 있는 수준이다.

실제 ‘MME’ ‘MMBench’ ‘SEED-Bench’ 등 벤치마크에서 모델을 공개한 타사 LMM 대비 최고 성능을 달성했다. 특히 지각 능력과 인지 능력을 평가하는 ‘MME’ 벤치마크에서는 2800점 만점 중 1977점을 받았다.

또 관련 논문 '허니비: 멀티모달 LLM을 위한 로컬리티 강화 프로젝터'는 지난해 논문 공개 사이트 아카이브에도 게재됐다. '이미지 데이터를 처리해 딥러닝 모델이 더 효과적으로 학습하고 이해할 수 있도록 돕는 기술'이라고 설명한 바 있다.

김일두 카카오브레인 대표는 “허니비 모델 중 추론을 가능하게 하는 코드도 깃허브에 공개했다"라며  "이를 활용한 각종 서비스 확장을 고려 중이며 더 고도화된 AI 모델 확보를 위해 끊임없이 연구, 개발할 것”이라고 말했다.

한편 정신아 카카오 대표 내정자는 이날 과학기술정보통신부가 연 ‘제5차 AI 최고위 전략대화’에서 정부 관계자들에게 허니비를 선보였다.