SK텔레콤, 'AI 멀티엔진' 텔코LLM 활용…'글로벌 시장 공략도 본격화'

[이코노믹데일리] SK텔레콤은 텔코LLM(Large Language Model)을 활용한 다양한 유즈케이스를 모색하고 적극적으로 확대 적용해 나가고 있다. 텔코LLM은 5G 요금제, T멤버십, 공시지원금 등 우리나라의 통신 전문 용어와 AI 윤리가치까지 숙지한 '똑똑한' LLM으로, 고객센터, 인프라, 마케팅, 유통, 법무, HR 등 통신사 운영의 다양한 영역에서 업무 효율성을 높일 것으로 기대된다.

SK텔레콤은 텔코 LLM을 통해 고객센터 상담사의 업무 효율성을 크게 향상시킬 계획이다. 현재 고객센터 상담 1건에 약 3분 30초 정도 소요되는데, 텔코 LLM을 도입하면 상담사가 고객과 통화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시킬 수 있을 것으로 예상된다.

뿐만 아니라, 텔코LLM은 고객의 문의 내용을 정확하게 파악하고, 상황에 맞는 최적의 답변을 제시할 수 있어 고객 만족도를 높일 수 있을 것으로 기대된다. 또한, 텔코LLM은 고객의 불만 사항을 분석하고, 이를 바탕으로 서비스 개선 방안을 마련하는데에도 활용될 수 있다.

텔코 LLM은 네트워크 인프라 운영에도 활용될 수 있다. 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코 LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 텔코 LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다.
  SK텔레콤의 LLM인 에이닷엑스(A.X)와 오픈AI의 GPT-4, 앤트로픽의 클로드에 한국어로 된 통신 관련 데이터를 학습시켜 다양한 텔코LLM을 개발하는 과정을 공개했다.

SK텔레콤은 이 과정을 통해 텔코 특화 LLM 라인업을 다양하게 확보하고 성능과 비용 측면에서 최적화를 달성할 계획이다.

SK텔레콤은 텔코LLM 개발을 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 진행한다. 

이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세 조정)하는 과정을 거친다. 범용 LLM은 통신사의 번호 이전 방법이나 절차 등 전문 지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다.

파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화 학습(RLHF; Reinforcement Learning from Human Feedback) 과정을 거친다. 실제 텔코LLM이 답변한 내용에 대하여 상담사들이 품질, 만족도 등을 평가하는 과정이다. 고객의 문의에 대해 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등에 대해 채점하는 사람의 평가를 통한 강화 학습이다.

마지막으로 텔코LLM의 언어 능력, 추론 능력, 통신 특화 과제 수행 능력 등에 대해 모델 평가(벤치마킹)를 한다. 예를 들어 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화하는 방식이다. 이 모든 과정은 계속 주기적으로 반복하여 텔코LLM을 더 똑똑하게 만든다.
  SK텔레콤은 자체 개발한 텔코 LLM 기술을 기반으로 해외 시장 진출을 본격화한다고 30일 밝혔다. 텔코 LLM은 통신 분야에 특화된 대규모 언어 모델로, 고객센터, 인프라, 마케팅, 유통, 법무, HR 등 다양한 영역의 업무 효율성을 극대화할 수 있도록 설계됐다.

SK텔레콤은 텔코 LLM을 우선 국내 통신사 운영 전반에 적용할 계획이다. 고객센터에서는 고객 문의에 대한 정확하고 신속한 답변을 제공하고, 인프라 운영에서는 네트워크 문제를 실시간으로 진단·해결하는 데 활용될 예정이다. 또한, 마케팅, 유통, 법무, HR 등 다양한 부서에서도 텔코 LLM을 활용하여 업무 효율성을 높일 수 있을 것으로 전망된다.

SK텔레콤은 텔코 LLM 기술을 더욱 효과적으로 활용하기 위해 '텔코 LLM 인텔리전스 플랫폼'도 함께 공개했다. 이 플랫폼은 멀티 LLM, 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등을 지원하며, 통신사들이 텔코 LLM 기반의 인공지능 서비스를 쉽고 효율적으로 구축하고 개발할 수 있도록 돕는다.

  SK텔레콤은 텔코 LLM 기술과 텔코 LLM 인텔리전스 플랫폼을 기반으로 해외 시장 진출을 본격화할 계획이다. 해외 통신사들과 협력하여 텔코 LLM 기반의 인공지능 서비스를 공동 개발하고, 텔코 LLM 인텔리전스 플랫폼을 해외 시장에 진출시킬 예정이다. SK텔레콤은 통신 분야에서 30년 이상 축적한 경험과 노하우, 뛰어난 AI 기술력, 해외 시장에서의 성공적인 사업 경험을 바탕으로 해외 시장에서도 텔코 LLM 기술을 성공적으로 구축하고 글로벌 인공지능 시장의 선두 기업으로 도약할 것으로 기대된다.