영화 속 공포가 현실로… 보안기술, AI 진화 속도 못 따라가

최신 모델 테스트 중 타사 서버 침투
오픈AI “전례 없는 사이버 보안 사고”

한계·규칙 깨고 독자 판단 충격
오픈AI “시험 부정행위와 같아”
美는 전담기관이 보안위험 관리
자율형 AI 통제장치 강화 시급

수많은 공상과학(SF) 영화에는 하나의 공통된 공포가 존재한다. 인공지능(AI)이 창조주인 인간의 통제를 벗어나, 스스로 판단하고 독자적인 목표를 수행하는 서늘한 장면들이다. 인간은 고도의 AI를 개발하면서도 늘 이러한 가능성을 경계해 왔다. 그리고 2026년 7월, 스크린 속 상상이 현실이 됐다. 챗GPT의 개발사 오픈AI의 최신 AI 모델이 자체 평가 도중 설정된 격리망을 뚫고 외부의 타사 시스템을 해킹하는 사상 초유의 ‘탈옥’ 사건이 발생한 것이다. 이번 사건은 자율형 AI에 대한 통제 체계와 안전장치를 근본적으로 강화해야 한다는 경고로 받아들여지고 있다.

오픈AI는 21일(현지시간) 성명을 내고 “최첨단 사이버 역량이 개입된 전례 없는 사이버 보안 사고가 발생했다”며 피해 기업인 허깅페이스와 함께 이번 사고에 대처하기 위해 협력한다고 밝혔다.

사고는 오픈AI의 ‘GPT-5.6 솔(Sol)’ 버전과 일부 미공개 모델의 사이버 공격 능력을 테스트하는 모의시험(익스플로잇짐) 과정에서 발생했다. 모의시험은 외부 인터넷·시스템과 분리된 테스트 환경인 이른바 ‘샌드박스’ 환경에서 진행됐다.

오픈AI는 이 과정에서 모델들의 안전장치(사이버 공격을 거부하는 기능)를 완화해 뒀다고 설명했다. 모델들의 보안 취약점 탐지 및 공격 능력이 어디까지 가능한지 한계를 파악하기 위함이었다. 그런데 이 과정에서 AI 모델들이 샌드박스 내부 소프트웨어의 미공개 취약점(제로데이)을 찾아내 통제망을 우회한 뒤 외부 인터넷에 접속하는 사태가 벌어졌다.

인터넷에 접속한 모델들은 허깅페이스에 테스트 문제의 답이 있을 것으로 추론했다. 허깅페이스는 이용자들이 AI 모델과 데이터세트를 저장·공유하고 배포하는 플랫폼이다.

AI 모델들은 허깅페이스의 서버 인증 정보를 탈취해 침투하는 데 성공했다.

허깅페이스는 지난 16일 자사 서버가 ‘자율 AI 에이전트’에 의해 해킹됐으며 공격자가 어떤 모델을 사용했는지는 확인되지 않았다고 공지했다. 그리고 이날 오픈AI가 해당 사건의 범인이 자사 모델이라고 밝힌 것이다.

허깅페이스의 자체 AI 탐지 시스템에 막혀 해킹은 치명적인 단계까지 가지 않았다. 허깅페이스는 일반에 공개된 사용자 대상 모델이나 데이터세트 등이 변조된 흔적은 발견되지 않았고, 소프트웨어 공급망도 안전한 것으로 확인됐다고 설명했다. 양사는 공동 조사를 진행하며 취약점을 보완하고 있다.

사진=AFP연합뉴스

오픈AI는 AI 모델들의 이 같은 접근을 “시험에서의 부정행위(cheat)”라고 표현하며 “평가용 문제에 대한 해법을 찾는 데 지나치게 집중해 극단적인 수단까지 동원했던 것으로 보인다”고 분석했다. 밀폐된 교실에서 시험을 보게 했더니, 선생님도 몰랐던 숨겨진 문을 찾아내 탈출한 뒤 답안지를 훔치러 간 셈이라는 것이다. 클렘 들랑그 허깅페이스 최고경영자(CEO)는 “이런 유형의 첫 번째 사건일 수도 있다”고 설명했다.

이번 사건은 여러모로 AI 업계에 충격을 던졌다. 해킹 그 자체가 아니라 AI가 스스로 인간이 설정해둔 한계와 규칙을 깨부수고 목적 달성을 위해 독단적인 판단으로 고도의 사이버 공격을 기획하고 실행한 것에 경악하고 있다.

뉴욕타임스(NYT)는 “오픈AI의 두 AI 모델이 통제를 벗어나 독단적으로 행동하며(went rogue) 디지털 도서관을 공격했다”고 전하며 AI 자율성의 위험을 경고했다. 포천의 전 AI 전문기자 섀런 골드먼은 “AI가 시험에서 ‘부정행위’를 하기 위해 안전한 환경을 몰래 빠져나간 매우 심각한 해킹 사태”라고 평가했다.

영국 AI 안전 연구소(UK AISI)에 따르면 GPT-5.6 솔 등 AI 모델들의 복잡한 사이버 작전 실행 능력이 점점 커지고 있다. 오픈AI는 “이번 사건은 이러한 이론적 역량이 현실 세계에서도 구현될 수 있음을 보여준다”며 “또 고급 모델이 소스코드 접근 권한 없이도 실제 시스템에서 새로운 공격 경로를 발견하고 악용할 수 있음을 명확히 보여준다”고 평가했다.

최근 AI 모델의 발전 속도를 보안 기술과 통제 규범이 따라가지 못하면서 AI 보안 문제가 글로벌 이슈로 떠오르고 있다. 오픈AI의 경쟁사인 앤트로픽의 AI 모델 ‘클로드 미토스’는 공표되지 않은 보안 취약점을 찾아 침투 경로까지 찾는 능력을 보여주면서 AI를 활용한 해킹 공격 현실화라는 우려를 낳은 바 있다. 심각성을 인지한 미국 정부는 최근 AI 개발사들이 모델 출시 전 사이버 보안 위험 정보를 정부와 공유하도록 하는 행정명령을 발표했다. 트럼프 행정부는 2024년 설립된 AI 안전 연구소를 지난해 AI 표준혁신센터(CAISI)로 개편해 첨단 AI 모델의 보안 위험을 관리하고 있다.

오픈AI는 성명에서 “고도화된 사이버 능력은 반드시 더 강력한 안전장치 및 방어 도구와 함께 개발되어야 한다”며 “향후 연구 개발 속도가 늦어지더라도 인프라 통제와 모델 모니터링, 접근 제어 등 안전장치를 대폭 강화하겠다”고 강조했다.

김희원 기자 [e-mail]