KAIST, 재학습 없이 AI 환각 줄이는 기술 개발

[경제일보] 한국과학기술원(KAIST) 연구진이 인공지능(AI)이 여러 감각 정보를 뒤섞어 없는 사실을 지어내는 '환각'을 줄이는 기술을 내놨다. 모델을 처음부터 다시 학습시키지 않고도 오류를 낮췄다는 점이 핵심이다.

KAIST는 노용만 전기및전자공학부 교수 연구팀이 멀티모달 대형언어모델(MLLM)의 감각 혼선을 줄이는 기술 두 가지를 개발했다고 7월 31일 밝혔다.

'다양한 부정 속성(DNA)' 최적화 기법은 센서가 담은 물리적 의미를 AI가 제대로 읽게 만든다. 사람은 열화상 화면에서 밝은 부분이 뜨거운 곳이라는 것을 안다. 기존 AI는 이를 일반 사진처럼 다뤄 단순한 빛으로 착각했다. 

연구팀은 열과 거리처럼 센서가 재는 물리량을 이해하도록 학습 방식을 바꿨다. AI가 자주 틀리는 사례를 반복 학습시켜 어둠이나 연기 속에서도 사물을 더 정확히 인식하게 했다. 열화상은 물체가 내는 열을 영상으로 보여주는 센서이고 깊이 영상은 물체까지의 거리를 재는 센서다.

감각 혼선을 막는 기술은 시각과 청각의 간섭을 겨냥한다. 폐쇄회로(CC)TV 영상에 자동차가 지나가는 장면이 담겼지만 소리는 녹음되지 않은 경우, 기존 멀티모달 AI는 차가 보인다는 이유만으로 엔진 소리가 들린다고 답하는 일이 있었다. 연구팀은 AI가 질문을 받았을 때 영상을 봐야 하는지 소리를 들어야 하는지를 먼저 스스로 가르고 더 중요한 감각에 집중하도록 설계했다.

두 기술 모두 대규모 재학습을 거치지 않는다. 멀티모달 모델을 다시 훈련하려면 막대한 연산 자원과 데이터가 들어간다. 기존 모델을 그대로 두고 편향과 환각만 낮출 수 있다면 도입 비용이 크게 줄어든다.

적용이 거론되는 곳은 감각 오류가 곧 사고로 이어지는 현장이다. 밤이나 안개 속에서 보행자와 차량을 가려야 하는 자율주행차, 연기로 앞이 막힌 화재 현장에서 생존자를 찾는 구조 로봇, 열화상 카메라를 쓰는 드론이다. 공항 보안검색의 엑스레이 영상 분석과 병원에서 컴퓨터단층촬영(CT), 자기공명영상(MRI), 엑스레이를 함께 판독하는 AI에도 쓸 수 있다는 것이 연구팀 설명이다.

노용만 교수는 "멀티모달 AI가 실제 환경에서 사용되려면 다양한 센서의 특성을 정확히 이해하고 여러 감각 정보를 혼동하지 않는 것이 중요하다"며 "대규모 재학습 없이도 AI의 감각 편향과 환각을 줄여 실제 생활과 산업 현장에서 믿고 사용할 수 있는 멀티모달 AI의 기반을 마련했다"고 말했다. 노 교수는 인간 중심 멀티모달 신호처리 분야 기여를 인정받아 2026년 국제전기전자공학회(IEEE) 석학회원으로 뽑혔다.

감각 혼선 방지 기술은 6월 3일부터 7일까지 미국 덴버에서 열린 컴퓨터비전·패턴인식 학술대회(CVPR)에서 발표됐다. 센서 이해 기술은 영상처리 분야 국제 학술지 'IEEE 트랜잭션스 온 이미지 프로세싱'에 실렸다.