네이버, 세계 최고 권위 AI 학회 EMNLP 2024서 논문 4편 발표

[이코노믹데일리] 네이버는 세계 최고 권위 자연어처리(NLP) 학회인 ‘EMNLP 2024’에서 검색 기술 관련 논문 4편이 채택됐다고 18일 밝혔다. EMNLP는 인공지능(AI) 번역, 챗봇, 기계 독해 등 언어 데이터를 기반으로 한 자연어처리 연구를 다루는 세계적인 학회다. 이번 학회는 11월 12일부터 16일까지 미국 플로리다에서 열린다.

네이버는 이번 논문 발표를 통해 검색 서비스에 활용 중인 AI 기술의 우수성을 입증했다. 김광현 네이버 검색·데이터 플랫폼 부문장은 "이번 성과는 네이버가 국내 검색 시장에서 선도한 기술력을 세계에서도 인정받은 것"이라며 "앞으로도 개선된 검색 정확도와 AI 기반의 새로운 실험을 통해 경쟁력 있는 서비스를 지속적으로 제공할 것"이라고 밝혔다.

이번에 발표된 논문 중 하나는 네이버의 생성형 AI 검색 서비스 '큐(CUE):'에 적용된 알고리즘에 대한 연구다. 이 기술은 소형언어모델(sLM)을 활용해 유해한 질문을 탐지하고 그에 맞는 적절한 답변을 제공하는 메커니즘을 다뤘다. 네이버는 이를 지난해 11월부터 서비스에 적용해 범죄 정보, 저작권 침해, 사생활 침해와 같은 유해 정보를 걸러내는 안전한 AI 검색 환경을 구축했다.

또한 네이버는 이번 연구 성과를 바탕으로 AI 기반 검색 환경의 안전성을 강화할 방침이다. 사용자는 질의에 대해 신뢰할 수 있는 정보를 제공받을 수 있으며 무분별한 답변을 걸러내는 기술이 앞으로도 확대 적용될 예정이다.

네이버는 통합검색 결과 상단에 주요 정보를 요약 제공하는 ‘지식스니펫’ 서비스에서도 AI 기술을 발전시켰다. 해당 기술은 단순 텍스트뿐만 아니라 리스트, 테이블과 같은 복잡한 형태의 정보를 AI가 효과적으로 처리하도록 설계됐다. 이는 사용자가 입력한 복잡한 검색어, 일명 롱테일 질의에도 정확한 답변을 제공하기 위한 기술로 내년 상반기 적용을 목표로 하고 있다. 이를 통해 네이버는 사용자들이 더 빠르고 정확하게 원하는 정보를 찾을 수 있도록 검색 성능을 개선할 계획이다.

또 다른 논문은 거대언어모델(LLM)의 문서 랭킹 능력을 소형모델(sLLM)에 이식해 검색 서비스에 실시간으로 반영하는 방법을 제시했다. 이 기술은 LLM의 수준 높은 품질을 유지하면서도 속도 저하를 방지해 사용자가 검색 결과를 빠르게 얻을 수 있도록 한다. 네이버는 지난 6월 이 기술을 통합검색에 적용한 결과 문서 클릭률(CTR)이 4.3% 증가했고 사용자의 체류 시간이 3% 늘어나는 성과를 거뒀다.

한편 네이버는 앞으로도 양질의 콘텐츠와 신뢰도 높은 검색 결과를 제공하기 위해 웹 검색 색인 규모를 50% 확대하는 등 지속적인 기술 고도화를 추진할 계획이다.