전체메뉴 검색
IT

KAIST, 입모양 또렷한 단어부터 읽었다…영어 단어 오류 25% 줄여

선재관 기자 2026-11-16 10:03:53

앞뒤 문맥으로 빈칸 채워 오류율 25.8%→19.4%…EMNLP 우수논문상  

다른 영어 영상에선 오류율 39.9%…한국어·실시간 자막 적용은 후속 과제

KAIST(한국과학기술원) 전기및전자공학부 노용만 교수 연구팀의 교신저자인 노 교수(왼쪽)와 제1저자 여정훈 박사후연구원이 'EMNLP 2026' 우수논문상 상장을 들고 기념촬영을 하고 있다.[사진=KAIST]

[경제일보] 소리를 끈 영어 영상에서 입모양이 뚜렷한 단어부터 읽고 나머지를 문맥으로 채우자 단어 오류율이 약 25% 줄었다. 한국과학기술원(KAIST) 연구진이 문장을 읽는 순서를 바꿔 얻은 결과다. 영어 강연 영상에서는 오류율을 19.4%까지 낮췄지만, 학습에 쓰지 않은 별도 평가 자료에서는 39.9%를 기록했다. 소음이 큰 현장의 자막이나 청각장애인·난청인 보조 도구에 활용하려면 실제 대화 환경에서 성능을 검증해야 한다.

KAIST는 노용만 전기및전자공학부 교수와 여정훈 박사후연구원 등이 입술 움직임을 문자로 바꾸는 시각적 음성 인식(VSR) 기술의 정확도를 높였다고 15일 밝혔다. 연구 논문은 자연어처리 국제학술대회 ‘EMNLP 2026’에서 우수논문상(Outstanding Paper Award)을 받았다.

입모양만으로는 서로 다른 소리를 가려내기 어려울 때가 있다. 문장 앞에서 잘못 읽은 말이 뒤쪽 해석에도 영향을 줄 수 있다. 연구팀은 그래서 문장 전체를 빈칸으로 두고, 위치와 관계없이 확신이 높은 부분부터 채우는 확산 대형 언어 모델(DLLM)을 적용했다. 앞뒤에서 먼저 읽어낸 말을 단서로 삼아 모호한 부분을 해독하는 방식이다.

학습은 입술 움직임과 글자를 연결하고 문장이 끝나는 위치를 익히는 단계, 길이가 다른 문장을 완성하는 단계로 나눴다. 실제 인식 과정에서는 영상 길이 등을 바탕으로 길이가 다른 문장 후보를 만든 뒤, 각 후보의 인식 신뢰도와 예상 길이 등을 비교해 결과를 골랐다.

영어 TED·TEDx 강연 영상으로 구성된 ‘LRS3’ 평가에서 단어 오류율은 19.4%였다. 같은 영상 특징 추출기를 쓴 비교 모델을 연구팀이 재현했을 때의 25.8%보다 6.4%포인트 낮다. 기존 오류율을 기준으로 약 24.8% 줄어든 수치다. 정답 문장이 붙은 학습 영상으로 LRS3만 사용한 논문 내 비교군 가운데 가장 낮았다.

기존 ‘오토-AVSR(Auto-AVSR)’의 영상 단독 인식 결과는 19.1%였다. 이 모델이 정답이 붙은 학습 영상 3448시간분을 활용한 데 비해 KAIST 모델은 해당 단계에서 433시간분을 사용했다. 433시간과 3448시간은 영상 재생 분량을 뜻한다. KAIST 모델에는 별도의 3305시간분 자료로 사전학습한 영상 특징 추출기와 기존 언어 모델도 쓰였다.

정확도와 처리 속도 사이에는 차이가 있었다. 논문의 단일 그래픽처리장치(GPU) 실험에서 길이 후보를 따로 비교하지 않았을 때 오류율은 20.5%였다. 후보 7개를 비교하자 19.4%로 낮아졌지만, 처리 시간은 영상 길이의 0.14배에서 0.87배로 늘었다. 같은 모델을 별도 영어 영상 평가 자료인 ‘와일드VSR(WildVSR)’에 적용한 결과도 강연 영상 성적과 차이를 보였다.

연구팀은 모델 크기와 연산량을 줄여 다양한 기기에 적용할 계획이다. 실시간 자막으로 쓰려면 한국어 일상 대화에서의 오류율과 스마트폰 등에서 말이 끝난 뒤 자막이 표시되기까지 걸리는 시간을 함께 검증해야 한다. 이름이나 숫자처럼 잘못 읽었을 때 의미가 크게 달라지는 말의 오류를 얼마나 줄일 수 있는지도 실제 사용성을 가를 대목이다.
0개의 댓글
0 / 300
댓글을 삭제 하시겠습니까?
닫기
로그인 후 댓글작성이 가능합니다.
로그인 하시겠습니까?
닫기
좋은 하루를 위한 작은 쉼표, 경제일보 Fun과 함께 하세요.
2026년 11월 16일 별자리/띠별 운세

사람과의 협력이 원활해질 수 있는 흐름입니다. 다만 연지와 연결되는 삼합 계열의 분위기를 살리려면 세부 일정과 역할 조율에 신경 쓰는 편이 좋습니다.

더 많은 운세 보기
Shorts
kyungjeilbo Shorts 최신 1번째 영상
kyungjeilbo Shorts 최신 2번째 영상
kyungjeilbo Shorts 최신 3번째 영상
kyungjeilbo Shorts 최신 4번째 영상
기사 이미지 확대 보기
닫기