카카오, AI 안전성 평가 외부 검증 확대…모델 넘어 에이전트로

[경제일보] 카카오가 인공지능안전연구소와 AI 모델·에이전트의 안전성을 함께 평가하고 검증 도구를 개발한다. 자체 평가 체계에 외부 연구기관의 검토를 더해, AI가 실제 서비스에서 일으킬 수 있는 위험을 출시 전후로 확인하겠다는 계획이다.

카카오는 지난 28일 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축을 위한 업무협약(MOU)을 맺었다고 29일 밝혔다. 카카오는 평가 대상 모델과 에이전트, 평가에 필요한 인프라를 제공하고 연구소는 평가 수행과 방법론 고도화를 맡는다. 결과는 양측이 공동 검토하고 공개 범위를 협의하기로 했다.

협력은 언어모델 평가에서 시작해 멀티모달 모델과 AI 에이전트로 확대하는 3단계로 추진된다. 마지막 단계에서는 모델과 에이전트의 안전성을 검증하는 평가 도구도 공동 개발한다. 다만 협약 발표 자료에는 단계별 완료 시점과 결과 공개 기준이 담기지 않았다.

카카오는 지난해에도 인공지능안전연구소 등과 자체 언어모델 ‘카나나 에센스 1.5 9.8B’를 평가했다. 과학기술정보통신부가 발표한 국내 첫 AI 모델 안전성 평가로, 한국정보통신기술협회(TTA) 등이 참여해 유사 규모의 해외 모델과 비교했다. 카카오는 평가 결과를 공개하며 비교 모델 가운데 높은 점수를 기록했다고 밝혔다.

다만 지난해 평가가 AI의 모든 위험을 다룬 것은 아니다. 카카오가 공개한 평가 설명을 보면 모델의 부정확한 응답과 유해 콘텐츠 생성, 공격 프롬프트 대응 등을 살폈지만, 모델의 장기적인 통제 가능성이나 이용자의 사용 방식에 따라 달라지는 위험은 평가에서 제외했다. 카카오도 정보가 부족한 상황에서 구체적인 답을 시도하는 경향과 복합적인 공격에 대한 보완 필요성을 제시했다.

이번 협약에서 평가 대상을 에이전트까지 넓히는 것은 이 같은 검증 범위를 실제 서비스에 가까운 환경으로 확장하는 작업이다. 에이전트는 답변 생성에 그치지 않고 외부 도구나 서비스와 연동해 작업을 수행할 수 있어, 모델의 응답 안전성뿐 아니라 권한 설정과 실행 과정도 평가 대상이 될 수 있다. 구체적으로 어떤 시나리오와 기준을 적용할지는 양사가 정할 예정이다.

한편 인공지능안전연구소는 한국전자통신연구원(ETRI) 산하 조직으로 AI 안전 평가와 기술·정책 연구, 국제 협력을 맡고 있다. 카카오는 이번 협약으로 자체 평가 체계와 외부 전문기관의 평가를 병행하게 된다. 협력이 실효성을 얻으려면 평가 결과뿐 아니라 적용한 기준과 제외한 위험, 개선 조치도 함께 공개할 수 있어야 한다. 카카오와 연구소는 결과 공개 범위를 협의하기로 한 만큼, 향후 공개 수준이 평가의 신뢰도를 가를 요소다.