[경제일보] "우리나라에서 진정한 소버린 인프라가 실현될 수 있는, 우리나라에서 많은 기업들이 정말 소버린 모델과 소버린 NPU를 활용할 수 있는 환경을 만들도록 노력하겠다"
9일 정석근 SK텔레콤 CTO 겸 AI CIC장은 서울 코엑스에서 열린 '엔비디아 AI 데이 서울' 행사에서 엔비디아, 리벨리온과의 한국형 소버린 AI 인프라 협력을 발표하며 이같이 말했다. 이날 3사는 GPU·신경망처리장치(NPU) 통합 시스템 개발 업무협약(MOU)을 맺었다.
정 CTO는 엔비디아 GPU와 국산 NPU를 묶은 AI 데이터센터를 SK텔레콤이 운영하고, 공공·민간은 하드웨어 걱정 없이 토큰만 쓰게 하겠다는 청사진을 제시했다. 인프라부터 독자 AI 모델, 대국민 서비스까지 묶어 풀스택 소버린 AI를 갖추겠다는 전략이다.
정 CTO는 국산 모델과 서비스를 만들어도 이를 돌리는 곳은 여전히 해외 서버인 경우가 많다고 진단하며 국산 NPU를 파는 것만으로는 부족하다고 판단했다. 그는 "우리는 여전히 해외에 있는 서버들을 많이 활용하고 있는 게 현실"이라며 "NPU를 사 가서 데이터센터를 만들고 운영하라고 하는 것은 굉장히 큰 진입 장벽이 될 것"이라고 설명했다.
대신 SK텔레콤 같은 전문 사업자가 NPU와 GPU를 묶은 데이터센터를 만들고, 공공기관과 민간 기업, 모델·서비스 사업자는 응용프로그램 인터페이스(API)로 토큰을 받아 쓰는 구조다. 칩 업체끼리가 아니라 통신사가 함께 나선 이유라는 설명이다.
이를 위해 3사는 엔비디아의 'NV링크 퓨전' 기술을 리벨리온이 개발 중인 NPU '리벨 R200'을 엔비디아 플랫폼에 연결한다. 또한 엔비디아의 서버 랙 표준 설계 규격인 MGX를 적용해 랙 단위의 GPU·NPU 통합 시스템을 개발할 계획이다.
NVLink 퓨전은 엔비디아 GPU끼리 데이터를 빠르게 주고받는 연결 기술(NVLink)을 다른 회사가 만든 AI 반도체에도 쓸 수 있게 넓힌 기술이다.
AI 추론의 핵심은 '분리형 추론'이다. AI 추론은 질문을 분석하는 '프리필' 단계와 답변을 한 단어씩 만드는 '디코드' 단계로 나뉜다. 프리필은 계산량이 많아 GPU가 유리하고, 디코드는 메모리에서 데이터를 빠르게 불러오는 능력이 중요하다. 3사는 프리필을 엔비디아 GPU에, 디코드를 리벨리온 NPU에 맡겨 처리 속도와 전력 효율을 높이는 것을 목표로 협업을 진행한다.
엔비디아는 칩을 만드는 것보다 시스템으로 묶는 일이 더 어렵다고 봤다. 제시 클레이튼 엔비디아 수석 제품 마케팅 매니저는 "전기와 인터넷처럼 AI는 필수 인프라가 되고 있다"며 "칩을 만드는 것은 일부에 불과하고 시스템 설계와 네트워킹, 공급망 관리에는 막대한 작업이 필요하다"고 말했다.
엔비디아에 따르면 MGX 랙 구조를 쓰면 엔비디아가 이미 갖춘 생태계와 공급망을 활용할 수 있다. GPU와 NPU가 같은 데이터센터에서 랙 공간과 전력, 냉각을 함께 쓸 수 있어 개발 부담을 줄이고 출시 기간을 단축할 수 있다는 구상이다.
박성현 리벨리온 대표는 AI 컴퓨팅 수요가 학습에서 추론으로 넘어가고 있다고 진단했다. 그는 기름을 리터 단위로 팔듯 이제는 모델이 만들어내는 토큰을 100만개 단위로 사고파는 시대라고 비유했다.
박 대표는 소버린 AI를 '나사 하나까지 국산'으로 보지 않았다. 핵심 기술은 직접 갖추되 글로벌 생태계에 올라타는 쪽이 현실적이라는 것이다. NVLink 퓨전 같은 연결 기술을 혼자 따라가면 3~4년이 걸린다는 설명이다.
정부도 3사의 협업에 힘을 보탠다. 과학기술정보통신부(과기정통부)는 리벨리온과 SK텔레콤을 시작으로 엔비디아와 국내 NPU 기업 간 협력을 지원하고 있다.
이도규 과기정통부 정보통신정책실장은 "이번 MOU가 선언에 그치지 않고 글로벌 시장 진출이라는 가시적인 성과로 이어지는 것이 중요하다"며 "협력의 성과가 리벨리온뿐 아니라 국내 NPU 기업 전반으로 확산되기를 기대한다"고 말했다.
이어 "오늘의 협력이 우리 기업에는 세계 시장으로 도약하는 기회가 되고 대한민국이 글로벌 AI 반도체 전 세계에 중요한 한 팀으로서 자리매김하는 전환점이 되기를 기대한다"고 덧붙였다.
Copyright © 경제일보, 무단전재·재배포 금지
