LG유플러스, 옵트에이아이와 GPU 효율화 맞손…토큰 처리량 최대 4배 향상

[경제일보] AI 서비스가 빠르게 확산되면서 인공지능(AI) 경쟁의 축이 모델 성능에서 운영 효율로 넓어지며 같은 수준의 AI 서비스를 제공하더라도 비용과 수익성이 천차만별로 차이가 생기고 있다. LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 손잡고 토큰 처리량을 높이는 기술 확보에 나선 것도 이 같은 변화에 대응하기 위한 것으로 풀이된다.

2일 LG유플러스는 옵트에이아이와 AI 운영 효율화 기술 공동 연구를 확대한다고 밝혔다.

양사는 AI 모델의 연산 과정을 효율화해 같은 GPU 자원에서 더 많은 이용자의 요청을 처리할 수 있는 '토큰 최적화' 기술을 개발하고 있다. LG유플러스에 따르면 현재 진행 중인 연구에서 동일 GPU가 처리할 수 있는 토큰량을 기존 대비 최대 4배 높이는 초기 성과도 확보한 것으로 나타났다.

토큰은 AI가 이용자의 질문을 이해하고 답변을 생성하는 과정에서 처리하는 데이터 단위다. 생성형 AI 서비스 이용량이 늘어나면 처리해야 하는 토큰도 증가하기 때문에 GPU와 전력 등 AI 인프라 사용량 역시 함께 커질 수 있다. 토큰 최적화는 모델의 크기나 연산 과정을 줄이거나 효율화해 동일한 하드웨어에서 더 많은 요청을 처리하도록 만드는 기술이다.

LG유플러스가 주목하는 부분은 '더 많은 GPU를 확보하는 것'에서 '보유한 GPU를 얼마나 효율적으로 활용하느냐'로 AI 인프라 경쟁의 초점이 이동하고 있다는 점이다. AI 서비스가 대중화될수록 이용자 수와 요청량이 늘어나는 만큼 서버를 계속 증설하는 방식만으로는 비용 부담이 커질 수 있기 때문이다. 같은 GPU에서 더 많은 요청을 처리할 수 있다면 인프라 확충 속도를 늦추거나 서비스 증가에 대응할 수 있는 여지가 생기는 것으로 꼽힌다.

이번 협력은 LG유플러스와 옵트에이아이가 기존 온디바이스 AI에서 진행한 연구의 연장선으로 진행된다. 앞서 양사는 스마트폰 등 기기 내부에서 AI를 구동하는 환경에서 모델 경량화 기술을 적용해 LG유플러스의 AI 모델 '엑사원' 기반 소형 언어 모델(sLM)을 스마트폰의 AI 전용 반도체인 NPU에서 구동할 수 있도록 구축했다. LG유플러스에 따르면 해당 기술 적용 이후 기존 CPU 방식과 유사한 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄었다.

온디바이스 환경에서 모델의 크기와 전력 소모를 줄이는 데 초점을 맞췄다면 이번에는 대규모 AI 서비스를 처리하는 서버 GPU 환경으로 연구 무대를 확대한다. 개인 기기의 배터리와 메모리가 핵심 변수였던 것에서 나아가 GPU 처리량과 전력, 동시 요청 처리 능력 등을 최적화 대상으로 삼는 것이다.

양사는 지난 1일 AI 운영 효율화 기술과 산업 적용 사례를 공유하는 'Efficient AI 테크 세미나'도 공동 개최했다. 행사에는 AI 반도체 기업 퓨리오사AI와 AI 플랫폼 기업 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산·학·연 관계자들이 참여해 AI 모델 최적화와 AI 반도체, 실제 서비스 적용 사례 등을 논의했다.

LG유플러스는 확보한 최적화 기술을 자사 AI 서비스와 대규모 AI 인프라 운영 환경에 단계적으로 적용할 계획이다. 온디바이스 AI에서 검증한 모델 경량화 역량을 서버 GPU로 확대하고, AI 서비스 운영 과정에서 발생하는 연산량과 비용을 줄이는 방향으로 기술을 고도화한다는 구상이다.

LG유플러스와 옵트에이아이는 그동안 온디바이스 AI에서 협력하며 경량화 기술을 검증한 데 이어 대규모 서버 환경으로 공동 연구를 확대하고 있다. AI 모델의 성능을 높이는 경쟁과 함께 동일한 자원으로 더 많은 AI 요청을 처리하는 효율화 경쟁이 커지는 가운데, LG유플러스도 AI 서비스와 AIDC를 동시에 운영하는 사업자로서 관련 기술 확보에 속도를 내는 모습이다.

이상엽 LG유플러스 CTO는 "AI 경쟁력은 단순히 성능을 높이는 것을 넘어 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다"며 "옵트에이아이를 비롯한 다양한 파트너들과 협력해 토큰 최적화 기술 연구를 확대하고 실제 서비스에 적용할 수 있는 성과를 만들어 나가겠다"고 말했다.

이재호 옵트에이아이 대표는 "생성형 AI 시대에는 높은 성능만큼이나 운영 효율을 확보하는 것이 중요해지고 있다"며 "LG유플러스와 함께 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화하고 AI 산업의 효율성 향상에 기여하겠다"고 말했다.