[이코노믹데일리] 알리바바 그룹의 디지털 기술 및 인텔리전스 핵심 부문인 알리바바 클라우드가 최신 멀티모달 인공지능(AI) 모델 'Qwen2.5-Omni-7B'를 31일 새롭게 선보였다.
Qwen2.5-Omni-7B 모델은 텍스트, 이미지, 음성, 영상 등 여러 유형의 입력 데이터를 동시에 이해하고 처리할 수 있는 엔드투엔드(end-to-end) 방식으로 개발되었다. 사용자의 다양한 입력에 대해 실시간 텍스트 응답은 물론, 자연스러운 음성 답변까지 생성 가능하다.
특히 70억 개(7B)의 상대적으로 적은 파라미터로 구성된 경량 모델임에도 불구하고 성능 저하 없이 강력한 멀티모달 처리 능력을 구현한 점이 특징이다.
이러한 컴팩트한 설계와 고성능의 조합은 지능형 음성 애플리케이션과 같이 실제 환경에서 민첩하고 비용 효율적으로 작동해야 하는 AI 에이전트 개발에 유리하다. 예를 들어 시각 장애인이 주변 환경을 실시간 음성 설명으로 인지하도록 돕거나 동영상 속 재료를 분석해 요리법을 단계별로 안내하는 등의 서비스 구현이 가능하다.
알리바바 클라우드는 Qwen2.5-Omni-7B 모델을 오픈소스 커뮤니티에 공개했다. 현재 허깅페이스(Hugging Face)와 깃허브(GitHub)를 통해 누구나 접근할 수 있으며 자체 플랫폼인 큐원 챗(Qwen Chat)과 모델스코프(ModelScope)에서도 이용 가능하다.
이번 모델의 우수한 성능은 혁신적인 아키텍처 설계에 기반한다. 텍스트 생성(Thinker)과 음성 합성(Talker) 기능을 분리하여 모달 간 간섭을 최소화한 'Thinker-Talker 아키텍처', 비디오와 오디오 입력을 효과적으로 동기화하여 일관된 콘텐츠 생성을 돕는 'TMRoPE' 위치 임베딩 기술 그리고 끊김 없는 음성 상호작용을 위해 지연 시간을 줄인 '블록와이즈 스트리밍 처리' 기술 등이 적용되었다.
Qwen2.5-Omni-7B는 이미지-텍스트, 영상-텍스트, 영상-음성 등 다양한 조합의 방대한 데이터셋으로 사전 학습되어 여러 종류의 작업에서 강력한 성능을 발휘한다.
특히 시각, 청각, 텍스트 정보를 복합적으로 이해하고 추론하는 능력을 평가하는 OmniBench 벤치마크 등 멀티모달 처리 능력이 중요한 평가에서도 최고 수준의 성능을 기록했다. 또한 인컨텍스트 러닝(ICL)과 강화학습(RL)을 통해 문맥에 맞는 음성 이해 및 생성 능력을 향상시키고 음성 응답 시 발음 오류나 부자연스러운 끊김 현상을 크게 줄여 안정성을 높였다.
한편 알리바바 클라우드는 지난해 9월 Qwen2.5 시리즈를 처음 선보인 이후 올해 1월에는 'Qwen2.5-Max'를 출시하여 챗봇 아레나에서 7위를 기록하는 등 우수한 성능을 입증한 바 있다. 시각 이해 모델 'Qwen2.5-VL', 장문 처리 모델 'Qwen2.5-1M' 등도 오픈소스로 공개하며 Qwen 모델 라인업을 지속적으로 확장하고 있다.
댓글 더보기