BC카드, 금융 특화 AI 검색 모델 자체 개발…"성능 세계 1위 달성"

[경제일보] BC카드는 생성형 인공지능(AI) 서비스의 검색 정확도를 높여주는 금융 특화 임베딩(Embedding) 모델을 자체 개발해 선보였다고 2일 밝혔다.

최근 금융업계는 생성형 AI를 접목한 상담을 비롯해 사내 업무 지원이나 문서 탐색 기능을 적극적으로 도입하는 추세다. 생성형 AI는 모든 정보를 외우는 것이 아니라 질문에 부합하는 정보를 찾아 답변을 엮어내는 방식으로 작동한다. 이 때문에 연관 문서를 얼마나 정확하게 찾아내는지가 서비스 품질을 결정짓는다.

이를 뒷받침하는 핵심 기술이 바로 임베딩 모델이다. 질문과 문서의 의미를 AI가 인식할 수 있는 좌표값인 숫자로 바꾼 뒤 유사한 정보들을 가깝게 배열해 가장 적합한 내용을 사용자에게 전달한다. 가령 해외결제 수수료를 묻는 질문에 관련 약관이나 서류를 탐색할 때 정확한 단어가 없어도 의미가 동일한 다른 표현의 문서를 찾아 AI에 제공하는 역할이다. 기존 범용 모델들은 가맹점이나 결제 같은 국내 금융 전문 용어의 문맥을 제대로 파악하지 못하는 단점이 존재했다.

이러한 한계를 극복하기 위해 BC카드는 앞서 오픈소스 플랫폼에 공개했던 182만건 규모의 데이터셋을 바탕으로 새로운 금융 특화 임베딩 모델을 완성했다.

새 모델은 활용 목적에 맞춰 경량형과 고품질형 두 가지로 나뉜다. 경량형 모델은 6억개 파라미터 규모로 일반 중앙처리장치(CPU) 환경에서 구동할 수 있다. 이 모델은 지난달 27일 기준 글로벌 벤치마크 평가(SOTA)에서 다른 모델과 비교해 검색 성능이 최대 15% 향상되며 세계 1위를 달성했다.

그래픽처리장치(GPU) 환경에서 쓰이는 고품질형 모델은 40억개 파라미터 규모를 갖췄다. 경량형보다 성능이 10%가량 우수해 정밀한 검색이 요구되는 업무에 알맞다. 응답 속도가 중요할 때는 경량형을 쓰고 높은 정확도가 필요할 때는 고품질형을 선택적으로 도입할 수 있다.

BC카드는 이번 개발 과정에서 단순히 모델 크기를 키우는 것보다 양질의 금융 데이터를 학습시키는 작업이 성능 개선에 더 필수적인 요인임을 확인했다. 이로써 금융 AI 서비스의 핵심 검색 기술을 자체적으로 확보했다. 향후 외부 시스템에 민감한 금융 데이터를 넘기지 않고도 독자적인 AI 서비스를 운영할 수 있는 기반이 마련된 것으로 풀이된다. 이는 보안과 규제 리스크를 최소화하는 결과로 이어질 것으로 보인다.

해당 모델은 글로벌 오픈소스 플랫폼 허깅페이스를 통해 대중에게 공개될 예정이다. BC카드는 앞으로 적용 대상을 넓혀 △KT 그룹사 △정부 △금융기관 등을 상대로 금융 AI 검색 플랫폼 사업을 지속해서 확장해 나갈 계획이다.

오성수 BC카드 상무는 "이번 개발은 금융 특화 AI 서비스의 핵심 기술을 자체 확보하고 운영할 수 있는 기술 기반을 마련해 정부의 소버린 AI 기조, 금융위원회가 추진 중인 금융권 AX 가속화 정책과도 부합한다는 점에서 의미가 크다"면서 "자체 개발한 금융 특화 모델과 데이터셋을 개방과 공유해 금융권 전반의 AX 저변 확대와 한국형 금융 AI 생태계 구축에 기여할 것"이라고 말했다.