[현장] 자율주행 패권 경쟁 해법은 'AI 고도화'…"데이터·피지컬 AI가 좌우한다"

[경제일보] 자율주행 경쟁에서 앞서기 위해서는 데이터를 많이 확보하는 데 그치지 않고, AI 모델의 지속적인 개선으로 연결하는 기술력이 필요하다는 진단이 나왔다. 경험하지 못한 주행 상황까지 예측하고 대응하는 피지컬 AI와 파운데이션 모델 개발이 자율주행 기술 경쟁의 핵심 과제로 떠올랐다는 설명이다.
 
26일 서울 강남구 코엑스에서 열린 ‘2026 자율주행 산업 컨퍼런스’에서는 현대자동차 이경민 상무, 한국자동차연구원 전병욱 소장, 서울대학교 최준원 교수가 차례로 강연에 나서 자율주행 AI의 발전 방향을 제시했다.
 
이 상무는 ‘데이터 플라이휠을 통한 자율주행 모델의 지속 개선’, 전 소장은 ‘피지컬 AI 시대, 자율주행 패권 경쟁과 K-모빌리티 전략’, 최 교수는 ‘자율주행 파운데이션 모델의 핵심 설계 쟁점과 발전 방향’을 주제로 발표했다.
 
이경민 상무는 자율주행 모델을 지속적으로 개선하려면 데이터를 확보하는 데 그치지 않고, 학습과 검증까지 연결하는 구조를 만들어야 한다고 설명했다. 수집한 데이터를 분석·선별해 모델을 학습하고 검증한 뒤 차량에 적용하고, 다시 새로운 데이터를 확보하는 순환 구조가 핵심이라는 설명이다.
   
이 상무는 “데이터가 핵심이라기보다 데이터를 돌릴 수 있는 프레임이 핵심”이라며 “데이터 플라이휠은 기본적으로 데이터 수집, 데이터 학습, 학습된 모델이나 룰을 다시 데이터로 연결하는 구조”라고 말했다.
 
실제 주행에서 확보되는 데이터 가운데 모델 성능을 높이는 데 필요한 데이터는 일부에 불과하다는 점도 짚었다. 일반적인 직진 주행보다 차선 변경이나 돌발 상황처럼 모델이 취약한 상황을 골라내고 이를 학습에 활용해야 한다는 것이다.
 
이 상무는 “실제 데이터를 취득하고 나서 그걸로 학습하면서 끝나는 게 아니라 3D로 구성하고 다양한 상황을 만들어서 시뮬레이션을 통해 검증할 수 있어야 한다”고 말했다.
 
데이터의 양을 늘리는 것만큼 모델 성능을 떨어뜨리는 문제 상황을 빠르게 찾아내는 과정도 중요하다고 봤다. 문제의 원인을 분석해 다시 학습에 반영하고, 시뮬레이션과 실제 차량 테스트를 통해 안전성을 확인해야 한다는 설명이다.
 
이어 전병욱 소장은 대규모 데이터를 학습하는 AI를 넘어 물리 세계를 이해하고 예측하는 피지컬 AI가 자율주행의 다음 경쟁 영역이 될 것으로 내다봤다.
 
전 소장은 “AI 모델은 확보한 데이터에 대해서는 굉장히 잘하지만 예측 불가능한 데이터에 대해서는 상당히 취약하다”며 “데이터 규모는 필요조건일 뿐이고, 결국 자율주행을 하려면 물리 세계를 이해하고 예측하는 일반 지능이 필요하다”고 말했다.
 
야간이나 폭설, 동물 출현처럼 실제 도로에서 발생 빈도가 낮은 상황은 아무리 많은 데이터를 확보하더라도 충분히 학습하기 어렵다고 설명했다. 이런 상황에 대응하려면 과거 사례를 암기하는 방식에서 벗어나 물리 법칙과 인과관계를 이해하는 AI가 필요하다는 것이다.
 
전 소장은 월드 모델을 대표적인 기술로 꼽았다. 월드 모델은 물리 법칙과 인과관계를 학습해 특정 행동 이후 발생할 상황을 예측하는 모델이다.
 
국내 자율주행 산업에는 현재 기술을 빠르게 확보하면서 차세대 기술 개발을 병행하는 투트랙 전략을 제시했다. 전 소장은 “2세대 자율주행을 최대한 빠르게 추격하면서 3세대 자율주행을 선점하는 전략으로 가야 한다”며 “AI 모델 경량화와 차량용 추론 반도체 개발도 함께 이뤄져야 한다”고 강조했다.
 
마지막으로 최준원 교수는 자율주행 파운데이션 모델의 핵심 과제로 엣지 케이스 대응과 모델 구조, 연산 효율, 시뮬레이션 검증을 제시했다. 갑자기 차량이 끼어들거나 동물이 도로에 나타나는 등 규칙을 일일이 설정하기 어려운 상황에 대응하는 능력이 중요하다는 설명이다.
 
E2E 방식은 인지부터 계획까지 하나의 AI 모델로 연결해 전체 과정을 하나의 목적에 맞춰 최적화할 수 있다는 점에서 기존 모듈러 방식과 차이가 있다고 설명했다.
 
최 교수는 파운데이션 모델을 주변 환경을 이해하는 ‘씬 인코더’와 차량의 행동을 생성하는 ‘액션 디코더’로 구성하는 방식도 소개했다. 센서에서 들어오는 정보를 3차원 공간으로 변환하고 이를 토큰화해 시공간 정보를 압축하는 구조다.
 
최 교수는 “주변 씬에 대한 시공간 정보를 잘 압축해서 표현하는 게 굉장히 중요하다”며 “엣지 케이스 대응을 위해 차량과 주변 객체의 속도, 가속도, 위치 등 다양한 정보를 학습하는 과정이 필요하다”고 말했다.
 
연산 효율 역시 실제 차량 적용을 위한 주요 과제로 꼽았다. 차량 주변의 넓은 영역을 높은 해상도로 처리하면 연산량이 크게 늘어나는 만큼 시공간 정보를 압축하고 과거 정보를 활용해 필요한 정보만 처리하는 방식이 필요하다는 설명이다.
 
실제 도로에서 확보하기 어려운 엣지 케이스를 다루기 위해서는 시뮬레이션도 필요하다. 최 교수는 “도로에 나가면 엣지 케이스도 별로 없고 AI 모델을 바로 도로에 나가서 하기에는 위험하기도 하다”며 시뮬레이션을 통한 안전성 검증의 필요성을 강조했다.
 
향후에는 실제 주행 데이터를 증강해 엣지 케이스를 확보하고 시뮬레이터에서 모델의 안전성과 성능을 검증하는 연구가 중요하다고 설명했다. 강화학습을 활용한 모델 안정성 향상과 실제 차량에서 구동할 수 있도록 모델을 경량화하는 작업도 주요 과제로 꼽았다.