AI 에이전트의 숨은 청구서…KAIST 연구팀, 질문 한 번에 전력 136배 더 쓴다

[경제일보] 인공지능(AI) 에이전트가 확산되면서 데이터센터 전력 소비가 AI 산업의 핵심 변수로 떠오르고 있다. 질문에 답하는 수준을 넘어 검색, 계산, 코드 실행 등 외부 도구를 활용하는 AI가 늘수록 전력과 인프라 비용도 함께 커진다는 분석이다.

5일 KAIST 전기및전자공학부 유민수 석좌교수 연구팀은 실제 서비스 환경에서 AI 에이전트가 사용하는 계산 자원과 전력량을 분석한 연구 결과를 발표했다. KAIST는 이번 연구가 AI 에이전트의 계산 비용과 에너지 소비를 세계 최초로 체계적으로 분석한 사례라고 밝혔다.

AI 에이전트는 거대언어모델(LLM)을 기반으로 스스로 계획을 세우고 외부 도구를 활용해 복잡한 문제를 해결하는 차세대 AI다. 소프트웨어 개발, 연구, 업무 자동화 등 활용 범위는 넓어지고 있지만 실제 운영에 필요한 전력과 비용은 제대로 수치화되지 않았다.

연구팀은 AI 에이전트를 단순 프로그램이 아니라 데이터센터 서버와 고성능 그래픽처리장치(GPU)가 지속적으로 처리해야 하는 새로운 워크로드로 정의했다. 분석 결과 AI 에이전트는 기존 단계별 추론 방식과 달리 하나의 답변을 만들기 위해 LLM 호출을 반복하는 구조를 보였다.

이 과정에서 응답 시간은 최대 153.7배 길어졌다. 외부 도구가 작업을 수행하는 동안 GPU는 전체 실행 시간의 최대 54.5%를 계산 없이 대기하는 것으로 나타났다. AI가 복잡한 일을 수행할수록 고가의 GPU가 충분히 활용되지 못하는 비효율이 발생한다는 의미다.

전력 소비도 크게 늘었다. 연구팀 분석에 따르면 700억개 매개변수를 가진 LLM 기반 AI 에이전트는 질문 1건을 처리하는 데 평균 348.41Wh의 전력을 소비했다. 이는 기존 생성형 AI의 단순 질의응답 방식보다 최대 136.5배 높은 수준이다.

데이터센터 단위로 보면 부담은 더 커진다. 연구팀은 하루 137억건의 AI 에이전트 요청이 발생하는 환경을 가정할 경우 데이터센터 전력 수요가 약 198.9GW에 이를 것으로 추정했다. 이는 현재 세계 각국이 추진하는 수GW급 AI 데이터센터 규모를 크게 웃도는 수준이며 연구팀은 미국 전체 평균 전력 소비량의 절반에 해당한다고 설명했다.

유민수 KAIST 전기및전자공학부 석좌교수는 “정확도에 치중해 온 그간의 AI 에이전트 연구의 벽을 허물어 실제 서비스 환경에서 요구되는 계산 비용과 인프라 부담을 함께 고려할 수 있는 새로운 기준을 제시했다”고 말했다. 그는 “AI 에이전트 사용이 보편화된 미래 사회에는 AI 데이터센터 인프라와 AI 에이전트 모델, 전력 인프라를 아우르는 공동설계 방식으로 최적화를 꾀하는 접근법이 중요해질 것”이라고 밝혔다.

한편 이번 연구에는 KAIST 전기및전자공학부 김지인 박사과정 학생이 제1저자로 참여했다. 연구 결과는 컴퓨터 시스템 설계 분야 국제학회 'IEEE HPCA(International Symposium on High-Performance Computer Architecture)'에서 발표됐으며 연구팀은 AI 에이전트 구현 기술과 성능평가 체계를 공개해 후속 연구에 활용할 수 있도록 했다.