[데스크칼럼] AI가 내 돈을 쓰는 시대, 책임은 누가 지나

[경제일보] 비서에게 일을 맡겼다가 잘못되면 비서를 부르면 된다. 주문을 잘못 넣거나 엉뚱한 사람에게 연락했다면 경위를 따지고 바로잡을 수 있다. 그런데 인공지능(AI)이 대신 주문하고 돈까지 보낸 뒤 실수했다면 누구에게 항의해야 할까.

이런 질문이 더는 먼 미래의 이야기가 아니게 됐다. 카카오는 지난 13일 카카오톡에서 이용자의 요청을 대신 처리하는 '카나나 스페이스'를 공개했다. 메시지 전송과 일정 관리에서 출발해 주문과 예약, 송금까지 확대하겠다는 구상이다. 오는 12월 비공개 시험을 앞두고 있다.

AI의 역할이 달라지고 있다. 지금까지는 질문에 답하는 기술이었다면 앞으로는 이용자의 이름으로 행동하는 기술이다. 검색 결과가 틀리면 다시 찾으면 된다. 그러나 잘못된 계좌로 돈을 보내거나 원하지 않는 상품을 주문하면 사정이 달라진다. 실제 손해가 발생한다.

공교롭게도 미국에서는 정반대의 뉴스가 나왔다. 연방거래위원회(FTC)가 오픈AI와 앤트로픽에 AI 안전사고와 소비자 보호 조치에 관한 자료 제출을 요구했다. AI가 통제 범위를 벗어나 행동하거나 보안 문제를 일으킬 가능성을 규제 당국이 따져보기 시작한 것이다.

아직 두 기업의 법률 위반이 확인된 것은 아니다. 그러나 세계 AI 산업이 어디로 가고 있는지는 보여준다. 성능을 자랑하던 기업들이 이제는 자신들이 만든 AI의 행동을 설명해야 하는 처지가 됐다.

기술의 진보를 반대할 이유는 없다. AI가 번거로운 일을 대신해준다면 이용자는 시간을 아낄 수 있다. 고령자나 디지털 기기에 익숙하지 않은 사람에게도 도움이 될 수 있다. 복잡한 앱 메뉴를 찾아다니지 않고 말 한마디로 일을 처리하는 시대는 분명 편리하다.

다만 편리함을 앞세워 책임까지 흐려서는 안 된다. AI 비서 하나가 일을 처리하는 과정에는 모델 개발사와 플랫폼, 결제 사업자, 판매자가 얽힐 수 있다. 사고가 발생했을 때 서로 자신의 책임이 아니라고 주장한다면 이용자는 어디서 구제받아야 하는가. 서비스는 하나처럼 제공하면서 책임은 여러 회사로 쪼개는 구조를 방치해서는 안 된다.

카카오는 지난 15일 자율형 AI의 안전과 개인정보 보호, 이용자 주체성 등을 담은 윤리 원칙과 이행 지침을 발표했다. 필요한 움직임이다. 그러나 윤리 원칙을 발표하는 것과 실제 사고에 책임지는 것은 다른 문제다.

이용자가 AI에 허용한 권한을 쉽게 확인하고 철회할 수 있어야 한다. 송금과 결제처럼 되돌리기 어려운 행동에는 명확한 최종 승인이 필요하다. 잘못된 실행을 취소할 절차와 피해 구제 기준도 미리 마련해야 한다. AI가 무슨 근거로 행동했는지 확인할 기록 역시 남아야 한다.

정부도 기술이 대중화된 뒤 사고 수습에 나서는 방식에서 벗어나야 한다. AI 에이전트의 권한과 책임, 사고 보고와 배상 기준을 정비할 필요가 있다. 규제가 혁신을 막아서는 안 되지만 책임 소재조차 불분명한 서비스가 시장에 먼저 들어오는 것도 바람직하지 않다.

우리는 AI가 얼마나 똑똑해졌는지에 익숙하다. 이제는 얼마나 믿고 맡길 수 있는지를 평가해야 한다. 사람의 일을 대신하는 기술이라면 그 결과에 책임지는 체계도 함께 갖춰야 한다.

AI 비서가 내 돈을 쓰는 시대가 다가오고 있다. 그 돈을 잘못 썼을 때 책임질 사람조차 찾기 어렵다면 아무리 똑똑한 비서라도 믿고 맡길 수 없다. AI 산업의 다음 경쟁은 답변의 정확도를 넘어 책임의 신뢰성에서 갈릴 것이다.