카카오 '카나나2', 허깅페이스 공개 두 모델, 안전성 평가 종합 1위

[경제일보] 카카오가 오픈소스로 공개한 경량언어모델(SLM) '카나나-2' 시리즈의 안전성 평가 결과를 18일 내놨다. 유사 규모 글로벌 모델과 비교해 종합 1위를 기록했다고 밝혔다.

평가 대상은 지난달 28일 허깅페이스에 공개한 4종 가운데 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct'다. 카카오는 당시 4종을 상업적 활용까지 허용하는 '카나나 오픈 라이선스'로 배포했고, 자체 개발한 한국어 특화 토크나이저를 적용해 한국어 처리 효율을 30% 이상 높였다고 밝힌 바 있다. 현재 '카나나 인 카카오톡'과 카카오톡 대화·통화 요약, AI 국민비서 등에 카카오의 경량 모델이 쓰이고 있다.

이번 평가는 카카오가 자체 구축한 'AI 안전성 평가 플랫폼'으로 진행됐다. 지난해 11월 한국정보통신기술협회(TTA), KAIST, 카카오 등이 과학기술정보통신부 사업으로 공동 구축한 한국어 특화 벤치마크 'AssurAI'를 활용했다. AssurAI는 한국의 사회·문화적 맥락을 반영해 AI 위험 요소를 측정하며, 텍스트뿐 아니라 이미지·오디오 등 멀티모달 환경과 악의적 프롬프트 입력 상황까지 평가할 수 있다. 

총 35개 위험 범주에 9560개 평가 항목으로 구성됐고, 카카오는 이를 △사회적 리스크 △성적 콘텐츠·아동보호 △범죄·불법 행위 △폭력 △권리 침해 등 5개 대분류로 재편해 집계했다. AI 모델이 사전 정의된 채점 기준에 따라 다른 모델의 응답을 평가하는 방식을 적용해, 대규모 평가에서도 주관적 편차를 줄이고 동일한 기준으로 비교할 수 있게 했다는 설명이다.

비교 대상은 유사 파라미터 규모의 구글 '젬마'와 알리바바 '큐웬'이었다. 결과는 카나나2 1.3B 모델이 종합점수 0.70으로 젬마(0.68), 큐웬(0.58)을 앞섰고, 3B 모델도 0.70으로 젬마(0.66), 큐웬(0.62)보다 높았다. 대분류별로는 1.3B 모델이 범죄·불법 행위 영역에서, 3B 모델이 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델을 크게 앞섰다.

카카오는 앞으로 자체 개발 모델에 상시적인 사전 안전성 평가를 확대 적용할 계획이다. 텍스트 언어모델을 넘어 멀티모달 모델과 스스로 작업을 수행하는 에이전틱 AI 리스크 평가로도 범위를 단계적으로 넓힌다는 방침이다. 카카오는 이에 앞서 AI 안전성 검증 도구 '카나나 세이프가드'도 오픈소스로 공개한 바 있다.

김경훈 카카오 AI 세이프티 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고, 그 결과를 공개하고자 한 사례"라며 "앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.