리벨리온 NPU, SKT AI 서비스 전면으로…하루 1400만건 처리

[경제일보] 국산 인공지능(AI) 반도체가 성능 검증 단계를 넘어 대규모 상용 서비스의 실시간 연산을 맡기 시작했다. 리벨리온의 신경망처리장치(NPU)가 SK텔레콤의 에이닷과 AI 고객센터, 금융사기 탐지 서비스 등으로 적용 범위를 넓히면서다.

리벨리온은 자사 NPU가 SK텔레콤의 에이닷 통화요약과 음성합성, 인공지능 고객센터(AICC), 스캠뱅가드 미끼문자 탐지 등 4개 서비스의 주요 기능에 적용됐다고 21일 밝혔다. 해당 인프라가 처리하는 실시간 AI 요청은 하루 약 1400만건, 데이터 처리 단위인 토큰으로는 하루 40억개를 넘는다.

이번 적용은 지난해 6월 시작한 상용화 시험의 후속 조치다. 양사는 SK텔레콤의 주요 AI 서비스에 국산 NPU를 투입하기 위한 성능과 안정성 검증을 진행한 뒤 지난해 12월 에이닷 통화요약의 ‘관계 추정’ 기능에 리벨리온의 AI 반도체 ‘아톰맥스’ 기반 서버를 처음 적용했다.

반년 이상 운영한 결과를 토대로 지난 6월부터 적용 대상을 순차적으로 확대했다. 에이닷 통화 내용을 짧게 정리하는 ‘한 줄 요약’과 문장을 음성으로 바꿔주는 스트리밍 음성합성(TTS), AICC의 상담 후처리·검색 시스템, 스캠뱅가드의 미끼문자 탐지 기능이 추가됐다.

NPU는 AI 추론에 필요한 연산을 집중적으로 처리하도록 설계된 반도체다. 범용 병렬 연산에 쓰이는 그래픽처리장치(GPU)와 달리 서비스 단계에서 반복되는 AI 연산의 전력과 비용을 줄이는 데 초점을 맞춘다. 모델 학습보다는 이용자 요청에 실시간으로 답하는 추론 작업이 주요 적용 영역이다.

아톰맥스는 대규모 AI 추론을 겨냥한 제품으로 FP16 기준 128테라플롭스(TFLOPS)의 연산 성능과 64기가바이트(GB) GDDR6 메모리를 갖췄다. 카드 한 장의 최대 소비전력은 350와트(W)다. 최대 8장의 아톰맥스 카드를 탑재하는 서버 형태로 데이터센터에 배치할 수 있다.

SK텔레콤은 서비스에 적용된 AI 모델의 크기와 연산 특성에 따라 GPU와 NPU를 나눠 배치하고 있다. 모든 작업을 한 종류의 반도체로 처리하지 않고 대형 모델 학습과 범용 연산은 GPU, 반복적인 상용 추론은 NPU에 맡기는 방식이다. AI 서비스가 늘면서 커지는 데이터센터의 전력 사용과 인프라 비용을 관리하기 위한 전략이다.

SK텔레콤과 리벨리온의 협력은 투자 관계와도 맞물려 있다. 리벨리온은 2024년 SK텔레콤 계열 AI 반도체 기업 사피온코리아와 합병했으며 SK텔레콤과 SK하이닉스는 합병법인의 전략적 투자자로 참여하고 있다. SK텔레콤은 국산 AI 모델과 반도체, 데이터센터를 연결하는 AI 인프라 구축을 추진해 왔다.

이번 확대 적용은 국산 NPU가 실제 이용자가 쓰는 통신 서비스에서 지속적인 트래픽을 처리한다는 점에서 의미가 있다. 다음 확인 지점은 적용 서비스와 처리량 확대에 따른 비용·전력 절감 효과다. SK텔레콤 내부 서비스를 넘어 금융·공공·제조 분야의 외부 고객으로 공급처를 넓힐 수 있는지도 리벨리온의 사업성을 가를 기준이 된다.