크래프톤, 한국어 음성 AI 'A.X K2 라온' 공개…게임 캐릭터와 말로 협업한다

[경제일보] 크래프톤(대표 김창한)이 한국어 음성 이해와 생성에 특화된 인공지능(AI) 파운데이션 모델 ‘A.X K2 Raon-Speech’를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 공개했다.

A.X K2 Raon-Speech는 과학기술정보통신부의 ‘독자 AI 파운데이션 모델’ 프로젝트에 참여한 SK텔레콤 정예팀의 2차수 성과다. 크래프톤은 컨소시엄에서 차세대 멀티모달 모델 연구를 맡고 있다.

모델은 총 210억개 파라미터 규모다. SK텔레콤의 A.X K2 기반 소형 언어모델에 크래프톤이 자체 학습한 음성 인코더와 코덱을 결합했다. 음성 인코더는 사람의 목소리를 AI가 처리할 수 있는 정보로 변환하고, 코덱은 AI의 답변을 음성으로 복원한다.

기존 음성 AI는 이용자의 말을 텍스트로 변환한 뒤 답변을 만들고 이를 다시 음성으로 합성하는 다단계 구조가 일반적이다. 이 과정에서 말투와 감정, 억양 등의 정보가 사라질 수 있다. A.X K2 Raon-Speech는 음성에 담긴 비언어적 정보까지 활용해 상황에 맞는 답변을 생성하도록 설계됐다.

크래프톤이 공개한 평가 결과에 따르면 이 모델은 300억개 이하 파라미터급 공개 음성 언어모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 평가는 음성 인식·합성·이해와 음성·텍스트 질의응답, 도구 호출 등 6개 영역에서 이뤄졌다. 한국어 24개와 영어 22개 등 총 46개 벤치마크가 활용됐다.

크래프톤이 음성 AI에 투자하는 배경에는 게임 캐릭터를 정해진 대사만 반복하는 비플레이어 캐릭터(NPC)에서 이용자와 협업하는 ‘CPC(Co-Playable Character)’로 진화시키려는 전략이 있다. CPC가 이용자의 목소리와 의도를 이해하면 전투 지시를 수행하거나 게임 상황과 감정에 맞춰 대화하는 경험을 구현할 수 있다.

크래프톤은 지난 4월 AI 모델 브랜드 ‘라온’을 출범하고 음성 언어모델과 실시간 음성 대화 모델, 텍스트·음성 변환 모델, 비전 인코더를 공개했다. 이번 모델은 기존 라온의 음성 학습 기술을 A.X K2에 적용한 후속 성과다.

상용 게임 적용을 위해서는 빠른 응답 속도뿐 아니라 유해 발언 통제, 이용자 음성정보 보호, 캐릭터 설정의 일관성도 확보해야 한다. 여러 이용자가 동시에 접속하는 게임 환경에서 추론 비용을 낮추는 기술 역시 중요한 과제다.

이강욱 크래프톤 최고AI책임자는 “게임에 필요한 AI 파운데이션 기술을 지속해서 고도화해 새로운 게임 경험을 만들어 나가겠다”고 말했다.

크래프톤의 AI 전략은 연구 성과 공개를 넘어 실제 게임 플레이를 바꾸는 단계로 향하고 있다. A.X K2 Raon-Speech가 CPC에 적용돼 이용자와 자연스럽게 대화하고 협업하는 수준까지 발전한다면 음성 AI는 게임의 부가 기능이 아니라 플레이 방식을 구성하는 핵심 기술로 자리 잡을 전망이다.