[경제일보] 수천억개의 파라미터를 갖춘 인공지능 모델을 구동하기 위해 필요한 대규모 GPU 인프라와 막대한 메모리가 기업의 AI 도입 장벽으로 작용하면서 대형 언어모델(LLM)의 운영 비용이 인공지능 산업의 새로운 과제로 떠오르고 있다. 이에 글로벌 AI 기업들이 모델 성능을 유지하면서도 비용을 낮추기 위한 경량화·최적화 기술 경쟁에 속도를 내는 가운데 국내 기업들도 관련 기술 개발에 나서고 있다.
5일 AI 경량화 및 최적화 전문 기업 노타는 업스테이지의 대형 언어모델 '솔라'의 모델 크기를 대폭 압축해 추론 비용을 줄이고 처리 속도를 높이면서도 높은 정확도를 유지하는 차세대 양자화 기술을 개발했다고 밝혔다.
이번 개발은 과학기술정보통신부가 추진하는 '독자 AI 파운데이션 모델 프로젝트'의 일환으로 진행됐다. 노타는 업스테이지의 '솔라 오픈 100B' 모델에 자체 경량화·최적화 기술을 적용해 성능은 유지하면서 메모리 효율을 크게 개선했다고 설명했다. 해당 프로젝트는 국내 독자 AI 모델 생태계 구축을 목표로 추진되는 사업으로 모델 개발뿐 아니라 학습·추론 효율을 높이기 위한 핵심 기술 확보도 중요한 과제로 꼽힌다.
특히 이번 기술은 최근 차세대 LLM 구조로 확산되고 있는 'MoE(전문가 혼합 구조)' 모델의 기술적 난제를 해결하는 데 초점을 맞췄다. MoE는 입력에 따라 일부 전문가 모델만 선택적으로 작동하는 방식으로 구글과 메타 등 글로벌 빅테크들이 차세대 LLM 구조로 채택하고 있는 기술로 알려졌다. 모델 전체가 동시에 작동하는 기존 방식보다 연산 효율을 높일 수 있어 초대형 모델 설계에 유리하지만, 구조 특성상 기존 양자화 방식으로는 성능 저하가 발생하기 쉽다는 한계가 있었다.
노타는 MoE 구조에 최적화된 독자 알고리즘 '노타 MoE 양자화' 방법론을 개발해 해당 문제를 해결했다고 설명했다. 모델 전체를 일괄적으로 압축하는 기존 방식과 달리 연산 중요도에 따라 정밀도를 차등 적용해 양자화 과정에서 발생하는 성능 저하를 최소화했다. 즉, 성능에 영향을 크게 미치는 연산은 정밀도를 유지하고 상대적으로 영향이 작은 부분만 압축해 효율성과 정확도를 동시에 확보하는 방식이다.
노타에 따르면 100B(1000억개) 파라미터 규모의 솔라 모델에 해당 기술을 적용해 기존 약 191.2GB(기가바이트) 수준이던 메모리 사용량을 약 72.8% 감소한 51.9GB까지 줄인 것으로 나타났다. 성능 지표인 PPL은 6.81을 기록해 원본 모델의 6.06과 큰 차이를 보이지 않는 수준을 유지했다. 일부 범용 양자화 기법이 적용될 경우 성능이 크게 저하되는 것과 비교하면 메모리 효율과 정확도를 동시에 확보한 결과라는 설명이다.
이 같은 경량화 기술은 향후 온디바이스 AI와 피지컬 AI 확산에도 중요한 기반이 될 전망이다. 그동안 초대형 LLM은 막대한 GPU 자원을 요구해 데이터센터 중심으로 운영될 수밖에 없었다. 그러나 모델을 경량화하면 로봇, 자율주행차, 스마트 디바이스 등 다양한 엣지 환경에서도 고성능 AI를 구현할 수 있는 가능성이 커진다.
스탠퍼드대학교 인간중심 AI 연구소가 발간한 'AI 인덱스 리포트'에 따르면 최근 인공지능 산업에서는 모델 성능 경쟁과 함께 추론 비용과 연산 효율성이 주요 경쟁 지표로 부상하고 있다. 보고서는 초대형 모델 규모가 빠르게 커지면서 이를 운영하기 위한 GPU 인프라와 전력 비용이 급증하고 있으며 이에 글로벌 AI 기업들이 모델 압축, 양자화, 추론 최적화 등 효율성 기술 확보에 투자를 확대하고 있다고 분석했다.
앞으로는 LLM 경쟁이 단순한 모델 성능 경쟁을 넘어 효율성 경쟁으로 확장될 전망이다. 미국과 중국을 중심으로 모델 경량화와 엣지 AI 기술 연구가 활발하게 진행되는 가운데 국내에서도 파운데이션 모델 개발과 함께 최적화 기술 확보가 중요한 과제로 떠오르고 있다.
채명수 노타 대표는 "이번 성과는 한국형 AI 파운데이션 모델인 솔라 100B에 노타만의 양자화 기법을 적용해 메모리를 대폭 줄이면서도 성능을 유지했다는 점에서 의미가 크다"며 "디바이스에 대규모 모델을 구현해야 하는 수요가 커질수록 노타의 경량화·최적화 기술이 고성능 AI를 실현하는 핵심적인 역할을 해나갈 것"이라고 말했다.
Copyright © e경제일보, 무단전재·재배포 금지
