KT, AI 모델 500개 한곳에 모았다…비용·보안 통합 관리 플랫폼 '토큰팩토리' 출시

[경제일보] 기업들의 인공지능(AI) 도입이 확산하면서 모델 선택부터 이용 비용, 데이터 보안까지 통합 관리하는 역량이 새로운 과제로 떠오르고 있다. 업무별로 적합한 AI 모델이 다르고 사용량에 따라 비용도 달라지는 데다, 기업 내부 데이터의 외부 유출 우려까지 고려해야 하기 때문이다. 이에 KT는 여러 AI 모델을 한곳에서 이용하고 사용량과 비용을 관리할 수 있는 플랫폼을 앞세워 기업용 AI 시장 공략에 나선다.

27일 KT는 서울 종로구 광화문 웨스트빌딩에서 AI 플랫폼 'KT 토큰팩토리'를 공개했다. AI 모델 선택부터 사용량 확인, 비용 관리, 결제까지 한곳에서 제공하는 플랫폼으로, 오는 30일 출시할 예정이다. KT는 기업 고객을 시작으로 서비스 범위를 확대하고 토큰팩토리를 인공지능 전환(AX)을 지원하는 핵심 플랫폼이자 신규 성장 사업으로 육성한다는 계획이다.

토큰팩토리는 여러 AI 모델을 하나의 환경에서 활용하고 관리할 수 있도록 구성된 것이 특징이다. KT는 국내외 500개 이상의 AI 모델을 통합 제공한다고 설명했다. 번역·요약·코딩·추론 등 업무별로 모델의 성능과 비용이 다른 만큼, 기업이 모든 업무에 하나의 모델을 적용하기보다 목적에 맞는 모델을 선택할 수 있도록 지원한다는 취지로 풀이된다.

기업이 여러 AI 서비스를 각각 도입하면 모델별 이용 환경과 사용량, 비용을 따로 확인해야 하는 것으로 꼽힌다. 토큰팩토리는 모델 선택과 이용 현황 모니터링, 과금 관리 등을 통합해 이런 관리 부담을 줄이는 것을 목표로 설계됐다. 통신사업에서 축적한 KT의 과금 역량을 AI 서비스에 적용해 사용량 기반의 토큰 과금 체계를 구현한 것이다.

비용 최적화는 토큰팩토리의 또 다른 축이다. KT는 업무 성격에 따라 적합한 AI 모델을 자동으로 선택하는 자체 기술 '오토 모델 라우터'를 적용했다. 질문의 업무 유형과 난이도, 요구 품질, 비용, 고객이 사전에 허용한 모델 범위 등을 종합해 적절한 모델을 선택하는 방식이다. 단순한 업무에는 상대적으로 가벼운 모델을, 복잡한 분석에는 고성능 모델을 적용해 비용과 응답 품질을 함께 고려한다.

KT는 해당 기술이 모델 선택 성능을 평가하는 글로벌 벤치마크 '라우터아레나'에서 종합 1위를 기록했다고 설명했다. 한국어 특성을 고려한 프롬프트 압축 기술도 적용한 것이 특징이다. 질문의 의미와 응답 품질을 유사하게 유지하면서 불필요한 반복 표현 등을 줄여 입력 토큰을 절감하는 방식이다.

KT는 자체 기술을 통해 AI 이용에 필요한 토큰 사용량을 최대 25%까지 줄일 수 있다고 강조했다. 토큰은 AI 모델이 입력과 출력을 처리하는 과정에서 사용되는 단위로, 서비스와 모델에 따라 이용 비용을 산정하는 기준으로 활용된다.

기업용 AI 도입에서 보안과 데이터 관리도 주요 고려 사항으로 꼽힌다. 해외 AI 서비스를 활용할 경우 업무 데이터가 어디에서 처리되고 저장되는지, 외부 사업자에게 어떤 정보가 전달되는지 등을 확인해야 하기 때문이다. KT는 국내 데이터센터에서 AI 추론 서비스를 제공하는 소버린 AI 인프라를 기반으로 데이터 주권과 보안 요구에 대응한다는 방침이다.

토큰팩토리는 KT 자체 모델과 국내외 오픈웨이트 모델 등 다양한 AI 모델을 활용할 수 있도록 설계됐다. 고객이 입력한 프롬프트에서 개인정보와 민감정보, 유해 표현 등을 점검하고 AI가 생성한 답변도 확인하는 자체 가드레일 기술을 적용했다. 향후에는 고객별 업무 환경과 보안 요구에 맞춰 탐지 대상과 차단 수준을 세밀하게 설정할 수 있도록 기능을 확대할 계획이다.

KT는 글로벌 AI 모델 마켓플레이스인 오픈라우터와의 공식 파트너십을 통해 토큰팩토리에서 활용할 수 있는 모델을 500개 이상 확보했다고 밝혔다. 향후 오픈라우터의 글로벌 AI 모델과 KT의 국내 인프라·소버린 AI 모델을 연계하고, KT가 국내에서 제공하는 AI 모델의 해외 유통도 추진할 계획이다.

AI 코딩·에이전트 분야의 유라클과 CAST AI, 기업용 AI 워크스페이스 분야의 타임리 등 전문기업과도 협력을 확대한다. 업스테이지와 다음 등 '모두의 AI' 컨소시엄 참여사들과의 협력도 강화해 인프라부터 모델 활용, AI 서비스까지 연결하는 생태계를 구축한다는 구상이다.

박상원 KT AX사업부문장 전무는 "AI 시장은 이제 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 빠르게 전환되고 있다"며 "KT는 통신사업에서 축적한 연결·과금·보호 역량을 AI 서비스로 확장한 토큰팩토리를 기반으로 고객의 AX 전환을 지원하고 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시켜 나가겠다"고 말했다.