[2026 국감] AI 성능에 6조, 안전엔 274억…과기부, 국감서 '브레이크'

[경제일보] 정부의 내년도 인공지능(AI) 예산 확대가 모델 성능과 인프라에 집중되면서 AI 자체의 위험을 평가·통제할 투자도 늘려야 한다는 요구가 국정감사에서 나왔다. 과학기술정보통신부 소관 AI 예산 정부안은 9조4308억원이지만 안전·신뢰 분야는 274억원으로 약 0.3%에 머물렀다. 배경훈 부총리 겸 과기정통부 장관은 안전연구소의 인력·예산 확충 필요성을 인정하고 12월 종합계획을 발표하겠다고 밝혔다.

이주희 더불어민주당 의원은 6일 국회 과학기술정보방송통신위원회 국감에서 “가속페달은 급속히 키워져 가고 있는데 브레이크는 지금 그대로인 상황”이라며 안전 분야 투자 확대를 촉구했다.

이 의원이 과기정통부에서 제출받은 자료에 따르면 내년 AI 성능·인프라 예산은 6조1490억원으로 전체의 65.2%다. 모델 개발, GPU 등 컴퓨팅 자원, 데이터 구축이 포함된다. 안전·신뢰 예산에는 안전성 평가·검증과 공격자 관점의 위험 시험, 딥페이크 대응, 윤리·영향평가 등이 분류됐다. 의원실이 제시한 기능별 기준에 따라 과기정통부가 세부 사업을 나눠 제출한 결과다.

두 분야의 예산 비율은 224대1로, 2024년 36대1보다 벌어졌다. 성능·인프라 예산은 올해보다 116% 늘어나지만 안전·신뢰 분야 증가율은 36%다. 안전 예산의 절대 규모가 늘어도 개발·인프라 투자 확대 속도를 따라가지 못하는 구조다.

274억원의 구성은 AI 안전 기술개발 152억원, 안전한 AI 활용 기반 조성 101억원, AI 신뢰성 및 산업 생태계 기반 조성 21억원이다. 뒤의 두 사업은 올해와 편성액이 같다. 이 의원은 안전 예산을 전체 AI 예산의 최소 1%로 높이고 단계별 확대 계획을 제시하라고 요구했다. 현 정부안의 AI 총액에 1%를 적용하면 약 943억원으로, 현재 안전·신뢰 편성액보다 약 669억원 많다.

핵심 쟁점은 AI를 사이버방어에 활용하는 능력과 AI의 행동을 통제하는 능력을 함께 확보하는 데 있다. 취약점을 찾아 공격을 막는 보안 특화 모델을 개발하는 동시에, 모델이 허용된 작업 범위를 벗어나거나 외부 시스템에 접근하는 위험을 평가하고 차단할 체계도 필요하다는 지적이다.

해외에서는 시험 중인 AI가 통제를 벗어난 실제 사고가 발생했다. 오픈AI는 지난 8월 공개한 조사보고서에서 7월 내부 사이버보안 평가 중 AI 모델들이 인터넷 격리 통제를 우회해 자사 연구 인프라와 허깅페이스 시스템에 침입했다고 밝혔다. 안전장치를 축소한 시험 환경에서 발생한 사건으로, 회사는 인터넷 접근 제한과 평가 환경 격리, 이상행동 감시를 강화하겠다고 설명했다.

영국 AI보안연구소(AISI)도 지난 8월 보고서에서 인터넷 접근을 허용하고 일부 안전 필터를 해제한 사이버 평가 도중 에이전트가 실제 인물·기관을 겨냥한 승인되지 않은 행동을 했다고 공개했다. 대응책으로 외부 접속 통제, 실시간 감시, 평가 환경 재설계를 제시했다. AI 안전 평가에는 모델을 시험하는 전문인력뿐 아니라 시험이 외부 피해로 이어지지 않도록 격리하는 인프라도 요구된다.

국내 평가 역량을 담당할 AI안전연구소의 인력 문제도 제기됐다. 이 의원은 인력이 26명에서 38명으로 늘었지만 해외 주요국보다 부족하다며 확충을 요구했다. 연구소는 AI 안전성 평가와 정책·기술 연구, 주요국 연구기관과의 협력을 맡고 있다.

이 의원은 정부 지원 모델의 학습·시험 과정에서 외부 접속을 어디까지 허용하는지, 이상행동이 발생하면 누가 실행을 중단하고 보고하는지 명확히 해야 한다고 강조했다. 배 부총리는 관련 해외 사고로 인한 국내 기관 피해는 아직 확인되지 않았다고 설명했다.

배 부총리는 “고영향 AI나 AI의 안전성을 평가할 때 영국의 안전연구소에 많이 의뢰한다”며 국내 연구소의 인력과 예산을 늘려 역량을 확보하는 일이 중요하다고 밝혔다. 정부는 보안 특화 모델과 프론티어 AI 개발을 통한 사이버안보 대응도 추진한다.

과기정통부는 12월 ‘국가 AI 안전생태계 조성 마스터플랜’을 수립·발표할 계획이다. 배 부총리는 국가 AI 안전관리체계 구축, 첨단 AI 안전 대응 역량 강화, 국민 일상의 안전한 AI 환경 조성을 준비하겠다고 밝혔다.