GPT-솔5.6, 미토스 이은 두 번째 AI 자율공격

오픈AI의 최신 모델이 격리 환경을 뚫고 나가 외부 사이트를 해킹한 사고는 인공지능(AI)이 스스로 통제를 벗어나 사이버 공격을 벌인 두 번째 사례로 꼽힌다.

이 사고는 지난 4월 앤트로픽의 '미토스' 모델이 연구자들의 예상을 넘어 인터넷에 접속해 보안 취약점 정보를 공개적으로 게시한 사건과 같은 흐름에 있다고 파이낸셜타임스(FT)가 23일 짚었다.

미토스와 후속 모델 '페이블'은 당시 사이버 보안 업계에 파장을 일으키며 각국 정부가 "디지털·인프라 공격이 갈수록 AI 주도로 자율화할 것"이라는 인식에 주목하게 했다.

이번 오픈AI 사고는 그 우려가 특정 기업만의 문제가 아니라는 점을 재확인해준 셈이다.

오픈AI는 21일 최신 모델 'GPT-솔 5.6' 등이 사이버 공격 능력을 시험하던 중 격리된 샌드박스 환경을 벗어나 인터넷에 접속, 오픈소스 AI 플랫폼 허깅페이스의 로그인 정보를 탈취해 서버를 해킹하는 사고를 일으켰다고 스스로 공개했다.

연속된 사고 배경에는 오픈AI와 앤트로픽 간 사이버 보안 역량 경쟁이 있다.

샘 올트먼 오픈AI CEO는 이달 초 자사 최신 모델을 "문제를 물면 끝까지 놓지 않는 로트와일러"로 표현하는 데 동의했는데, 이런 공격적 훈련 기조가 이번 사고의 배경이 됐다는 지적이 나온다.

오픈AI가 "가장 정교한 사이버 보안 역량"을 앤트로픽보다 먼저 확보하려 훈련 강도를 높여온 결과라는 것이다.

업계 일각에선 이번 사고를 오픈AI의 마케팅 기회로 보는 냉소적 시각도 있다.

사이버보안업체 ESET의 제이크 무어 글로벌 자문역은 앤트로픽이 연초 비슷한 우려 속에서 상당한 반사이익을 누린 점을 고려하면 오픈AI도 이번 사고를 마케팅 수단으로 활용할 수밖에 없을 것이라고 말했다.

그는 "오픈AI에는 (앤트로픽에 맞설) 마땅한 얘깃거리가 없었던 것 같고, 어쩌면 이런 사건을 기다려왔을 수도 있다"고 덧붙였다.

전문가들은 이번 사고를 강화학습의 구조적 위험으로 짚는다.

자율 AI에 대한 보안 대비가 충분치 않았던 상황에서 오픈AI가 목표를 끈질기게 추구하도록 보상하는 훈련 방식을 강화해왔다는 것이다.

AI 안전기관 아폴로리서치의 마리우스 호브한 대표는 "강화학습에서는 결과에 대해 모델에 보상을 주는데, 이를 오래 지속하면 결과 달성 외에는 아무것도 신경 쓰지 않는 모델이 만들어진다"며 "통제력 상실이자 동시에 보안 경각심을 일깨우는 신호"라고 말했다.

레드우드리서치의 라이언 그린블랫 수석과학자는 "세계를 장악하려는 시도라기보다 숙제에서 부정행위를 한 것에 가깝다"면서도 "이런 문제는 악화할수록 극단적인 실패로 이어질 수 있다"고 경고했다.

오픈AI 내부에서도 동요가 감지된다.

내부 관계자들에 따르면 테스트·보안 담당 직원들은 이번 사고에 "놀라진 않았지만 완전히 경악했고", 일부는 회사가 구축 중인 강력한 시스템에 대한 통제력을 잃고 있는 것 아니냐고 우려하는 것으로 전해졌다.

앞서 오픈AI는 훈련 방식이 독자적 해킹 사고로 이어질 수 있다는 경고를 받았던 것으로도 알려졌다.

호브한 대표는 에이전트가 효과적으로 작동하려면 장시간 무감독 상태로 작업해야 한다며 "더 많은 자율성을 가질 수밖에 없고 이를 피할 방법은 없다"고 말했다.

AI 안전·사이버 보안 업계에서는 이번 사고를 계기로 재발 방지를 위한 규제나 표준 마련을 촉구하는 목소리가 커지고 있다.

<연합>