초거대 AI도 '가볍게'…노타, 국가대표 AI 최적화 속도

[경제일보] 국가대표 인공지능(AI) 모델 경쟁이 단순한 성능 경쟁에서 실제 산업 현장에서 얼마나 효율적으로 구동할 수 있느냐를 따지는 방향으로 확대되고 있다. 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에서도 모델 성능뿐 아니라 자원 활용 효율성과 산업 확장성 등이 평가 요소로 떠오른 가운데 국내 기업들의 관련 기술 확보에도 속도가 붙고 있다.

20일 AI 모델 경량화 및 최적화 기술 기업 노타는 자사의 AI 모델 경량화 및 최적화 기술을 바탕으로 국가대표 AI 모델의 활용 경쟁력 강화에 나선다고 밝혔다.

최근 정부가 발표한 독파모 프로젝트 2차 평가에서 업스테이지, SK텔레콤, LG AI연구원 등 3개 컨소시엄이 3차수 진출팀으로 선정됐다. 정부는 단계 평가에서 모델의 정량적 성능뿐 아니라 자원 활용 효율성, 사용성과 실용성, 다양한 산업·서비스 환경으로의 확장 가능성 등을 종합적으로 평가했다고 설명했다.

해당 평가 기준은 국내 AI 경쟁의 기준이 모델 자체의 성능을 넘어 실제 활용 가능성으로 확대되고 있는 것으로 분석된다. 초거대 AI는 모델 규모가 커질수록 GPU와 메모리 등 인프라에 대한 부담도 커지는 만큼 기업과 기관이 실제 서비스를 구축하려면 연산 자원과 운영 비용을 낮추는 기술이 필수적인 것이다.

업스테이지 컨소시엄에서 AI 모델 경량화와 최적화를 맡고 있는 노타는 정부의 평가와 기조에 맞춰 '솔라' 계열 모델의 국내 인프라 활용성을 높이는 데 집중하고 있다. 모델의 성능을 최대한 유지하면서 연산 자원과 메모리 사용량을 줄여 다양한 하드웨어와 서비스 환경에서 구동할 수 있도록 지원하는 방식이다.

앞서 노타는 독파모 2차 평가 결과 발표에 앞서 업스테이지의 '솔라 오픈 2' 경량화 모델을 글로벌 AI 플랫폼 허깅페이스에 공개했다. 기존 모델을 구동하는 데 엔비디아 H100 GPU 8장이 필요했던 환경을 2장으로 줄일 수 있도록 최적화한 해당 모델은 글로벌 누적 다운로드 8만건을 기록했다.

솔라 오픈 2는 2500억개의 매개변수를 갖춘 대규모 AI 모델이다. 노타는 모델 가중치를 INT4와 NVFP4 기반 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리하는 방식으로 모델을 경량화했다고 설명했다.

그 결과 가중치 저장에 필요한 메모리를 기존 500.6GB에서 117.8GB로 76.5% 줄인 것으로 나타났다. 메모리 용량을 기준으로 H100 GPU 8장이 필요했던 모델을 2장으로 구동할 수 있게 된 것이다. 초거대 AI 모델의 활용 과정에서 발생하는 GPU 확보와 전력, 운영 비용 부담을 낮추고 실제 서비스 적용 가능성을 높인 것으로 평가된다.

특히 업스테이지 컨소시엄은 AI 모델뿐 아니라 국산 AI 반도체와의 결합도 추진하고 있다. 독파모 2차 평가 과정에서 퓨리오사AI의 국산 신경망처리장치(NPU)를 활용해 국산 AI 소프트웨어와 하드웨어 생태계를 연계한다는 계획이다. AI 모델과 반도체를 함께 최적화하는 구조가 자리 잡으면 특정 해외 GPU에 대한 의존도를 낮추면서 국내 인프라 환경에 맞는 AI 서비스 구축도 가능해질 전망이다.

AI 모델의 경량화는 독파모뿐 아니라 향후 AI 산업 전반에서도 중요성이 커지고 있다. 기업이 자체 서버에 AI를 구축하는 온프레미스 환경부터 엣지·온디바이스 AI까지 활용 영역이 확대될수록 제한된 연산 자원에서 모델을 구동할 수 있는 기술이 필요하기 때문이다.

향후 독파모 3차수 경쟁에서도 모델의 절대적인 성능과 함께 얼마나 적은 자원으로 안정적인 서비스를 구현할 수 있는지가 주요 경쟁 요소가 될 것으로 전망된다. 국산 AI 모델을 개발하는 데 그치지 않고 국산 반도체, 경량화 기술, 서비스 플랫폼을 연결해 실제 산업 현장에 적용할 수 있는 생태계를 구축하는 것이 국가 AI 경쟁력 확보의 핵심 과제로 떠오르고 있다.

채명수 노타 대표는 "국가대표 AI 모델이 다양한 산업 현장에서 비용 효율적으로 활용될 수 있도록 최적화 기술을 지속적으로 고도화할 것"이라며 "업스테이지와 함께 독파모 3차수 평가에서도 좋은 성과를 거둘 수 있도록 최선을 다하겠다"고 말했다.