AI 인프라도 '튜닝' 경쟁…노타, AWS AI칩 최적화 시장 진출

[경제일보] 엔비디아 GPU를 대체할 인공지능(AI) 인프라에 대한 관심이 높아지는 가운데 AI 모델을 클라우드 환경에 맞게 최적화하는 시장도 함께 성장하고 있다. AI 서비스 확산으로 인프라 비용 부담이 커지면서 AWS의 자체 AI 칩인 '트레이니움'과 '인퍼런시아'를 도입하려는 기업이 늘고 있지만, 기존 AI 모델을 새로운 칩 환경에서 효율적으로 구동하기 위해서는 별도의 최적화 작업이 필요하기 때문이다.

7일 노타는 AWS AI 칩 환경에서 기업 고객이 AI 모델의 성능을 극대화할 수 있도록 지원하는 AI 모델 경량화 및 튜닝 서비스를 출시했다고 밝혔다. 노타는 AWS 공인 파트너 자격으로 트레이니움과 인퍼런시아 환경에 맞춘 모델 최적화 서비스를 제공한다.

최근 생성형 AI 도입이 확산되면서 기업들의 관심은 AI 모델 개발뿐 아니라 운영 비용 절감으로도 옮겨가고 있다. 이에 노타는 대규모 언어 모델(LLM)을 서비스하는 기업들이 GPU 확보 비용과 전력 소비 부담이 커지면서 AWS를 비롯한 글로벌 클라우드 사업자들이 자체 개발한 AI 칩 도입을 검토하는 사례가 증가한 것으로 분석한다.

AWS의 트레이니움은 AI 모델 학습을, 인퍼런시아는 AI 추론을 위해 설계된 전용 칩이다. AWS는 자체 AI 칩을 통해 가격 대비 성능과 에너지 효율을 높이는 전략을 추진하고 있으며, 글로벌 AI 기업들도 이를 활용해 인프라 비용 절감에 나서고 있다.

다만 기존 AI 모델을 새로운 AI 칩 환경으로 이전하는 과정은 쉽지 않은 것으로 알려졌다. 모델 구조와 연산 방식이 하드웨어마다 달라 별도의 포팅과 최적화가 필요하며, 이를 수행할 전문 인력도 부족한 상황이다. 이로 인해 AI 모델을 다양한 칩 환경에 맞게 경량화하고 성능을 조정하는 최적화 기술의 중요성이 커지고 있다.

노타는 해당 수요를 겨냥해 자사 AI 모델 최적화 플랫폼 '넷츠프레소'를 기반으로 기술검증(PoC)과 모델 포팅, 경량화, 성능 튜닝까지 전 과정을 지원한다. AI 모델 크기를 최대 90% 이상 줄이면서도 정확도를 유지할 수 있도록 지원하고, AWS AI 칩 환경에 맞춘 최적 배포를 제공하는 것이 특징이다.

특히 노타는 AWS 트레이니움과 인퍼런시아 환경에서 대규모 언어 모델을 최적화한 경험도 확보했다고 설명했다. 320억개 파라미터 규모 언어 모델에 경량화 기술을 적용해 모델 크기를 68% 줄이면서도 정확도 손실은 1% 미만으로 유지한 사례를 확보했으며, 다양한 AI 모델 아키텍처에 대한 포팅과 튜닝 경험도 축적했다고 강조했다.

앞서 노타는 모바일 기기뿐 아니라 데이터센터와 엣지 디바이스 등 다양한 환경에서 AI 모델 최적화 기술을 제공해온 바 있다. 그동안 삼성전자, Arm, 퓨리오사AI, 모빌린트 등과 협력하며 하드웨어별 AI 모델 경량화 기술을 검증했으며, 이번 서비스를 계기로 클라우드 AI 인프라 영역까지 사업을 확대한다는 전략이다.

채명수 노타 대표는 "AWS AI 칩은 뛰어난 가격 대비 성능을 제공하며, 노타는 이러한 AWS 칩의 성능을 고객이 자사 모델에서 온전히 활용할 수 있도록 모델 튜닝을 지원한다"며 "AWS AI 칩 기반 인프라 도입을 검토하는 기업 고객에게 실질적인 비용 효율화 성과를 제공하겠다"고 말했다.