보안의 성배 '커널' 뚫는 신규 기법…티오리, AI 시대 차세대 방어 해법 제시

[경제일보] 사이버 보안 전문기업 티오리(대표 박세준)가 세계 4대 보안 학회 중 하나인 ‘NDSS 2026’에서 리눅스 커널의 보안 취약점을 완벽히 파고드는 신규 공격 기법 ‘DirtyFree’를 발표하며 글로벌 기술력을 입증했다. 단순한 취약점 발견을 넘어 AI 시대에 고도화되는 운영체제(OS) 위협을 원천 차단할 실질적 방어 기제까지 제시했다는 점에서 업계의 주목을 받고 있다.

최근 리눅스 커널은 ‘KCFI(Kernel Control-Flow Integrity)’ 등 실행 흐름을 보호하는 강력한 방어 기제를 도입해 기존의 제어 흐름 조작 공격이 사실상 어려워졌다. 이에 해커들은 데이터 흐름을 조작하는 ‘DOP(Data-Oriented Programming)’ 공격에 주목했지만 기존 방식은 메모리 주소 유출 등 까다로운 전제 조건 때문에 실제 활용성이 낮았다.

이번에 티오리의 권혁 연구원과 막스플랑크연구소 공동연구팀이 발표한 ‘DirtyFree’는 이러한 한계를 극복했다. 메모리를 강제로 해제하는 기법을 체계화해, 복잡한 우회 단계 없이 공격자가 의도한 가짜 객체를 커널 내부에 직접 주입하는 방식이다. 연구팀은 이 기법을 통해 24개의 리눅스 커널 취약점을 공략하는 데 성공했으며 특히 커널 힙 영역에서 공격에 즉각 활용 가능한 14개의 신규 객체를 발굴했다.

◆ 보안성과 효율성 동시 확보한 ‘방어 메커니즘’
 
티오리의 진가는 공격 기법 공개에 그치지 않고 이를 차단할 방어 기제를 동시에 제안했다는 점이다. 연구팀이 설계한 방어 기술은 공격을 원천 봉쇄하면서도 시스템 성능 저하를 0.28% 수준으로 극도로 최소화했다. 이는 보안 성능 도입 시 발생하는 '속도 저하'라는 고질적 문제를 해결한 실용적인 해결책으로 향후 리눅스 커널 보안 표준 설계에 중요한 지침이 될 전망이다.

2026년 현재, 클라우드 서버와 AI 데이터센터, 자율주행 차량의 핵심 두뇌인 리눅스 커널은 국가 안보와 직결되는 핵심 인프라다. 최근 거대언어모델(LLM)을 활용한 자동화 공격이 가능해지면서 커널을 노리는 지능형 위협도 급증하고 있다.

티오리는 이번 연구 성과를 바탕으로 커널 보안 컨설팅 역량을 대폭 강화할 계획이다. 이미 구글, MS, 삼성전자 등에 보안 컨설팅을 제공하며 글로벌 네트워크를 구축한 티오리는 이번 NDSS 논문 채택을 통해 '오펜시브(Offensive) 보안' 분야의 글로벌 리더로서의 입지를 더욱 공고히 했다. 티오리는 앞으로도 자사의 AI 보안 솔루션 '알파프리즘(αprism)'과 결합해 지능화되는 OS 커널 위협에 대응하는 차세대 방어 체계 연구를 지속할 방침이다.