1개의 범용 LLM보다 서비스 유형에 맞출 수 있는 ‘멀티LLM’ 전략 채택
 |
| ▲ 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 취재진 대상 텔코LLM 설명회에서 발표하고 있다. <사진=최영준기자> |
SK텔레콤이 국내 5G 요금제와 공시지원금 등 국내 통신 관련 용어와 통신사 내부 지침을 학습한 ‘텔코LLM’을 6월 중 선보일 예정이다.
SK텔레콤은 30일 서울 중구 SKT 타워에서 ‘텔코LLM 설명회’를 열고 이같이 밝혔다.
LLM(거대 언어모델)은 방대한 양의 문장 데이터를 학습하고 자연어 처리 작업을 수행하는 데 필요한 지식을 습득한 딥러닝 모델이다.
SKT는 텔코LLM의 개발이 완료되면 한국어 버전 서비스를 우선 출시하고, 해외 기업들과 글로벌 버전 개발에 대한 합의를 완료하면 글로벌 버전도 출시할 예정이다.
텔코LLM은 SKT의 자체 개발 LLM인 에이닷엑스(A.X)에 이미 출시한 오픈AI의 ‘GPT-4’와 앤트로픽의 ‘클로드’와 같은 범용 LLM에 통신 관련 한국어 데이터를 학습시켜 AI 고객센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 다양한 곳에 적용되게 하는 것을 목표로 오픈AI와 앤트로픽 등과 협력해 개발을 진행하고 있다.
에릭 데이비스 SKT AI 기술 협력 담당은 이날 멀티 LLM 전략을 채택한 이유에 대해 “1개의 범용 LLM으로 통신사에서 제공하는 다양한 서비스와 문제를 해결하는 일은 쉽지 않다”며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세 조정(파인 튜닝)과 모델 평가(벤치마킹) 과정을 거쳐 다양한 텔코 LLM을 만들고, 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT의 멀티 LLM 전략”이라고 설명했다.
이를 위해 SKT는 LLM에 통신 관련 데이터를 학습 시킨 다음, 문의에 유용한 답변을 하는지, 질문의 문맥을 이해했는지 등을 상담사가 평가한 뒤, 부족하다는 평가를 받은 부분에 대한 관련 데이터를 추가로 학습 시키는 과정을 반복해 텔코 LLM을 고도화했다.
 |
| ▲ 텔코LLM 개념도 <자료=SK텔레콤> |
SKT는 텔코 LLM이 상용화되면 다양한 통신사 업무에 걸리는 시간을 줄일 수 있을 것으로 내다봤다. 그중 가장 영향이 클 것으로 예상하는 분야는 고객센터 분야다.
기존에는 고객센터에서 상담사가 고객 문의 내용을 정리하고 필요한 정보와 문서를 검색하고 요약한 뒤 상담 내용을 기록해야 해 많은 경험과 교육이 필요했지만, 텔코LLM이 적용되면 이 과정을 빠르게 진행할 수 있다.
텔코LLM은 네트워크 인프라 운용 과정에 문제가 생겼을 때도 해결 방안을 바로 찾아내 답변할 수 있어 사람이 직접 매뉴얼이나 대응 사례를 찾는 것보다 소요 시간을 줄일 수 있다.
정민영 SKT AI플랫폼 담당은 “고객센터와 인프라뿐 아니라 마케팅‧유통망 등 고객 접점이나 법무, HR과 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속해서 텔코LLM을 활용한 사례를 늘려나갈 계획”이라고 설명했다.
또 SKT는 이날 통신사가 생성형 AI 앱을 쉽게 구축할 수 있도록 돕는 ‘인텔리전스 플랫폼’도 공개했다.
인텔리전스 플랫폼은 일종의 기업용 AI 개발·운용 패키지로 통신업에 특화한 다양한 LLM을 고객센터 콜봇, 챗봇, 유통 채널 어시스턴트 등에 쉽고 효율적으로 사용 가능하다.
SKT는 이를 활용해 글로벌 통신사를 포함한 통신사 상담 등 업무 특성이 비슷한 기업들이 해당 플랫폼을 활용할 수 있다고 설명했다.
정 담당은 “기존 사내 시스템에 축적된 데이터를 활용해 업무 효율성을 높이는 작업, LLM의 이해 능력을 활용해 검색을 원활히 하는 작업, 문서 초안을 생성하거나 시스템 모니터링을 하는 작업 등으로 다양하게 사용 범위를 확장할 수 있다”고 설명했다.
한편 텔코LLM은 멀티LLM 전략을 사용해 개발된 만큼 할루시네이션에 취약할 수 있다는 가능성도 제기됐다.
이에 대해 정 담당은 “기존의 범용LLM을 그대로 사용하지 않고 시스템적으로 보완해서 가능한 할루시네이션(환각효과)을 줄이려고 노력하고 있다”고 답했다.
토요경제 / 최영준 기자 cyj@sateconomy.co.kr
[저작권자ⓒ 토요경제. 무단전재-재배포 금지]
