스스로 계획하고 행동하는 AI…카카오, 인간 감독·비상 제어 기준 마련

[경제일보] 카카오가 스스로 계획하고 행동하는 인공지능(AI) 에이전트의 확산에 대응해 서비스 기획부터 운영까지 적용할 윤리 원칙과 통제 기준을 마련했다. AI가 외부 정보와 도구를 활용해 작업을 수행하는 과정에서 발생할 수 있는 권한 오남용과 개인정보 침해 등의 위험을 사전에 점검하고, 인간의 감독과 비상 제어를 서비스 설계에 반영하겠다는 취지로 풀이된다.

15일 카카오는 지난 13일 개발자 컨퍼런스 'if(카카오)26'에서 자율 에이전트 시대에 대응하기 위한 AI 윤리 원칙과 이행 가이드를 공개했다고 밝혔다. 카카오 AI 캠퍼스에서 열린 행사에서 카카오는 '윤리를 깨는 자율 에이전트, 어떻게 대응할까?' 세션을 통해 AI가 스스로 계획하고 행동하는 환경에서는 인간의 판단과 책임을 명확히 하고 윤리를 서비스 설계와 운영에 반영하는 실행 체계가 필요하다고 강조했다.

이번에 마련한 카카오의 AI 윤리 원칙 'SPIRIT'은 안전(Safety), 프라이버시(Privacy), 포용(Inclusivity), 책임(Responsibility), 이용자 주체성(Individual Autonomy), 투명성과 신뢰성(Transparency & Trustworthiness) 등 6개 항목으로 구성됐다. 카카오는 '대한민국 인공지능 윤리원칙'의 3대 가치와 7대 원칙을 주요 이행 기준으로 삼고, 자사 서비스 환경에 맞게 세부 내용을 보완했다고 설명했다.

카카오의 이번 윤리 원칙은 원칙을 선언하는 데 그치지 않고 실제 서비스에 적용할 수 있도록 실행 절차를 구체화했다는 것이 특징이다. 카카오는 해당 원칙을 'NORMA'라는 이행 체계로 정의했다. 공동 책임에 대한 조직적 의지를 바탕으로 복잡한 윤리 과제를 관리 가능한 단위로 나누고 실행 가능한 조치로 연결한다는 의미다.

카카오는 자율 에이전트가 일으킬 수 있는 위험을 통제 주도권, 목표, 권한, 참조 자원, 상호작용 등 5개 영역으로 구분했다. 각 영역의 위험에 따라 인간 감독과 비상 제어, 권한 통제, 데이터 보호 등의 대응 수단을 연결하도록 했다.

자율 에이전트는 사용자의 지시를 받아 정보를 찾거나 결과를 제시하는 수준을 넘어 여러 단계를 거쳐 작업을 수행할 수 있다. 이 과정에서 사용자가 의도하지 않은 행동을 하거나 필요한 범위를 넘어 정보와 도구에 접근할 수 있고 실제로 행동에 나선 사례도 있다. 에이전트가 어떤 권한으로 무엇을 수행할 수 있는지 사전에 정하고, 문제가 발생했을 때 사람이 개입하거나 작업을 중단할 수 있는 통제 체계가 중요해지는 이유다.

카카오는 이를 위해 'AI 윤리 이행 체크리스트'를 마련했다. 체크리스트는 서비스 속성 파악, 사전 리스크 스크리닝, 통제 항목 점검·판정 등 세 단계로 운영된다. 카카오는 해당 체크리스트를 연내 적용할 예정이다.

아동·청소년 보호도 새 점검 체계의 주요 영역이다. 카카오는 지난해부터 적용해 온 '디지털 아동·청소년 보호 체크리스트'에 더해 경제협력개발기구(OECD)와 유엔아동기금(유니세프)의 아동 온라인 위험 분류 체계인 '5Cs'를 참고해 AI 특유의 위험 점검 요소를 추가할 계획이다.

기존 온라인 서비스의 아동 보호 기준을 AI 환경에 맞게 확장하려는 조치로 분석된다. AI 서비스는 이용자와 자연어로 상호작용하고 응답을 개인화할 수 있는 만큼, 아동·청소년이 AI를 이용하는 과정에서 발생할 수 있는 위험을 별도로 살펴볼 필요가 있을 전망이다. 카카오는 새 체크리스트에 관련 요소를 반영한다는 방침이다.

이번 원칙과 가이드는 지난 7월 발족한 AI&기술윤리소위원회 외부 자문단 7인과 함께 이번달 초 마련했다. 외부 자문단은 국내외 규범과의 정합성을 검토했으며, 카카오의 AI 세이프티·개인정보·정보보안·서비스 관련 부서도 실무 관점에서 검토에 참여했다.

카카오는 지난 2018년 '알고리즘 윤리헌장'을 발표한 뒤 지난 2022년 카카오 및 주요 계열사가 참여하는 AI&기술윤리소위원회를 설립했다. 이후 그룹 공통의 '책임 있는 AI를 위한 가이드라인'을 마련하고 이용자 주체성 원칙을 추가하는 동시에 '안전한 AI를 위한 핵심 체크리스트'를 그룹 차원에서 의무화하는 등 관련 체계를 발전시켜 왔다.

김세웅 카카오 AI&기술윤리소위원회 위원장은 "외부 자문단과 내부 조직의 관점을 함께 담아 AI 서비스 전 주기에서 작동하는 리스크 검토 체계를 갖추게 됐다"며 "AI의 자율성이 커지는 만큼 사람의 판단과 책임을 분명히 하고, 이용자가 안심하고 사용할 수 있는 AI 서비스를 만들어 가겠다"고 말했다.