[AI시대 대격변] "AI의 무대가 바뀐다"…데이터센터서 단말·공장으로 옮겨가는 AI

[경제일보] 생성형 인공지능(AI) 확산으로 대규모 연산을 데이터센터에서 처리하는 방식이 주류로 자리 잡은 가운데 AI를 단말과 산업 현장에 직접 배치하는 '온디바이스 AI'와 '엣지 AI'가 새로운 경쟁 영역으로 부상하고 있다. 영상 분석과 로봇, 자동차, 스마트팩토리 등 실시간 대응과 데이터 보안이 중요한 분야에서는 모든 데이터를 중앙 데이터센터로 전송하는 방식에 한계가 있기 때문이다. 국내 기업들도 AI 반도체와 경량화된 AI 모델을 결합해 현장에서 AI를 구동하는 사업에 속도를 내고 있다.

19일 업계에 따르면 최근 AI 산업의 경쟁 구도가 대규모 데이터센터와 GPU 확보에서 AI 연산을 실제 서비스가 발생하는 현장으로 분산하는 방향으로 확대되고 있다. 생성형 AI 서비스가 고도화하면서 데이터센터의 대규모 GPU 연산 능력이 중요해졌지만, 모든 데이터를 클라우드나 데이터센터로 보내 처리할 경우 네트워크 지연과 데이터 전송 비용, 보안 등의 문제가 발생할 수 있기 때문이다.

특히 카메라와 센서를 통해 주변 환경을 실시간으로 인식해야 하는 로봇과 자동차, 산업 현장에서는 AI 연산을 가까운 곳에서 처리하는 것이 중요하다. 이에 AI 모델과 연산 장치를 단말이나 현장에 배치하는 온디바이스 AI와 엣지 AI가 주목받고 있다.

온디바이스 AI는 스마트폰이나 로봇, 자동차 등 기기 자체에서 AI 연산을 수행하는 방식이며, 엣지 AI는 데이터가 발생하는 현장과 가까운 서버나 장비에서 AI 연산을 처리하는 개념이다. 두 방식 모두 중앙 데이터센터에 대한 의존도를 낮추고 민감한 데이터를 외부로 전송하지 않으면서 실시간으로 AI를 구동할 수 있는 것으로 평가된다.

이에 AI 반도체 경쟁도 단순히 GPU와 NPU 가운데 어느 쪽이 우위에 있느냐를 넘어 사용처에 맞는 연산 구조를 확보하는 방향으로 바뀌고 있다. 대규모 AI 모델 학습에는 GPU가 활용되고, 현장에서 반복적으로 수행되는 추론 작업은 전력 효율과 지연 시간 등을 고려해 NPU를 활용하는 방식이다.

KT는 국산 AI 반도체와 자체 대규모 언어 모델(LLM)을 결합한 기업용 AI 어플라이언스를 출시하며 이 같은 시장 변화에 대응하고 있다. KT가 선보인 'KT NPU LLM 스테이션'은 국내 AI 반도체 기업 리벨리온의 추론 특화 신경망 처리 장치(NPU) 'ATOM-MAX'와 KT의 독자 LLM '믿음 K 2.5 Pro', 운영 API 플랫폼을 하나의 서버에 통합한 완제품형 장치다.

기업 내부에 장비를 설치해 데이터와 AI 연산을 사내에서 처리할 수 있도록 한 것이 특징이다. 망 분리 등 보안 규제가 적용되는 공공·국방·제약·제조·금융 분야에서 외부 클라우드 기반 생성형 AI를 활용하기 어려운 기업을 겨냥한 것으로 풀이된다. KT는 향후 이를 피지컬 AI를 위한 엣지 데이터 센터로 확대해 저전력·저지연 AI 인프라로 활용한다는 계획이다.

제조 현장에서도 AI 연산을 현장 가까이에서 처리하려는 움직임이 나타나고 있다. 포스코DX는 국산 AI 반도체를 활용해 산업 현장에서 발생하는 비정형 데이터를 분석하는 플랫폼 개발에 나섰다. 공장 내 카메라와 센서 등에서 발생하는 데이터를 현장에서 AI로 분석해 설비와 작업 환경을 실시간으로 판단하는 방식으로, 제조 현장의 AI 적용 범위를 확대하려는 시도다.
특히 제조업에서는 생산 과정에서 발생하는 영상·센서 데이터의 양이 많고 외부 전송이 제한되는 경우도 있어 모든 데이터를 중앙 서버로 보내 분석하는 데 비용과 시간이 발생한다. 포스코DX는 현장에서 AI 추론을 수행하면 필요한 데이터만 선별해 처리할 수 있어 실시간성이 중요한 품질 검사와 이상 징후 탐지 등에서 활용도가 높아질 것으로 전망하고 있다.

AI가 실제 공간에서 움직이는 피지컬 AI 시장이 커질수록 이러한 엣지 AI 수요도 확대될 전망이다. 로봇과 드론, 자율주행차 등이 주변 환경을 실시간으로 인식하고 판단하려면 카메라와 각종 센서에서 발생하는 데이터를 빠르게 처리해야 한다. 자동차 역시 운전자 상태 분석이나 주행 환경 판단 등 일부 AI 연산을 차량 내부에서 처리하는 구조가 확대될 것으로 분석된다.

이 과정에서 AI 반도체 성능뿐 아니라 AI 모델 최적화와 소프트웨어 생태계 구축도 중요해지고 있다. 같은 NPU를 사용하더라도 AI 모델을 하드웨어 특성에 맞게 최적화하지 못하면 기대한 성능과 전력 효율을 확보하기 어렵기 때문이다.

온디바이스 AI 시장의 경쟁은 'GPU 대 NPU'의 단순한 대결보다는 AI 연산을 어디에서, 어떤 방식으로 처리할 것인지에 대한 경쟁으로 확대될 전망이다. 데이터센터에서 단말과 공장, 자동차, 로봇 등으로 AI의 무대가 넓어지면서 AI 반도체 기업뿐 아니라 통신사와 제조·플랫폼 기업까지 새로운 시장을 둘러싼 경쟁에 뛰어들고 있다.

이진형 KT AX사업본부장 상무는 "'KT NPU LLM 스테이션'은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것"이라며 "데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것"이라고 말했다.