카카오, '스스로 일하는 AI' 통제 기준 마련…권한·비상 제어 점검

[경제일보] 카카오가 스스로 계획을 세우고 업무를 실행하는 AI 에이전트에 맞춰 윤리 관리 체계를 개편했다. AI가 사용할 권한과 데이터, 사람의 개입 범위를 서비스 기획 단계부터 점검하고, 위험 상황에서는 통제할 수 있도록 하는 것이 핵심이다. 새 이행 체크리스트는 연내 적용한다.

카카오는 지난 13일 개발자 콘퍼런스 ‘if(kakao)26’에서 AI 윤리 원칙 ‘SPIRIT’과 이행 방식 ‘NORMA’를 공개했다고 15일 밝혔다. 지난 7월 발족한 AI&기술윤리소위원회 외부 자문단 7인과 이달 초 마련했으며, AI 안전·개인정보·정보보안·서비스 부서가 실무 검토에 참여했다.

자율 에이전트는 외부 도구와 데이터를 활용해 여러 단계의 작업을 수행한다. 이 과정에서는 답변의 정확성뿐 아니라 이용자가 허용한 범위 안에서 행동하는지, 잘못된 작업을 사람이 중단할 수 있는지도 중요해진다. 카카오가 인간의 판단과 책임, 권한 통제를 새 윤리 체계의 중심에 둔 배경이다.

SPIRIT은 안전, 프라이버시, 포용, 책임, 이용자 주체성, 투명성과 신뢰성 등 6개 항목으로 구성된다. 이용자가 AI의 판단과 행동에 대한 주도권을 유지하도록 하고, 원칙을 실제 서비스 설계와 운영에 반영한다는 방향을 담았다.

이행 방식인 NORMA는 조직이 공동으로 책임지고 복잡한 윤리 과제를 관리·실행 가능한 단계로 구체화하는 체계다. 카카오는 에이전트의 위험을 통제 주도권, 목표, 권한, 참조 자원, 상호작용 등 5개 영역으로 나누고 인간 감독·비상 제어·권한 통제·데이터 보호 등의 조치를 연결했다.

이를 점검하는 체크리스트는 서비스 속성 파악, 사전 위험 선별, 통제 항목 점검·판정의 3단계로 운영한다. 서비스 기획부터 운영까지 전 과정에서 위험을 검토하도록 설계했다.

이번 개편에는 국가 차원의 AI 윤리 기준도 반영했다. 정부는 지난 8월 24일 인간의 존엄성, 사회의 공공선, 인류의 지속가능성 등 3대 가치와 7대 원칙을 담은 ‘대한민국 인공지능 윤리원칙’을 확정했다. 카카오는 이를 주요 이행 기준으로 삼고 서비스 특성에 맞게 보완했다.

AI 기본법 제28조는 기업 등이 민간자율인공지능윤리위원회를 두고 윤리원칙 준수 여부 확인, 안전·인권침해 조사, 지침 마련 등을 수행할 수 있도록 규정한다. 카카오는 기존 소위원회와 외부 자문단을 통해 이러한 역할을 자율적으로 수행한다는 방침이다.

아동·청소년 보호 항목도 확대한다. 지난해부터 운영한 별도 체크리스트에 더해, OECD와 유니세프의 아동 온라인 위험 분류 체계를 참고한 AI 특유의 위험 점검 요소를 새 체크리스트에 반영할 계획이다.

김세웅 카카오 AI&기술윤리소위원회 위원장은 “AI의 자율성이 커지는 만큼 사람의 판단과 책임을 분명히 하고, 이용자가 안심하고 사용할 수 있는 AI 서비스를 만들어 가겠다”고 말했다.