자동 테스트 중 제보 사이트에 허위 정보 제출
스팸 분류돼 수사부서 미전달…앤트로픽 뒤늦게 발견

생성형 인공지능(AI) 서비스 ‘클로드’ 개발사 앤트로픽. 로이터연합

인공지능(AI) 기업 앤트로픽의 AI 모델이 미국 경찰의 미제 살인사건 제보 사이트에 허위 정보를 제출한 사실이 뒤늦게 드러났다.

자동 테스트 과정에서 발생한 일이지만, 회사가 이를 발견하고 경찰에 알리기까지 약 두 달이 걸렸다. AI 에이전트가 실제 웹사이트에서 예상치 못한 행동을 할 수 있다는 점과 이를 탐지·보고하는 안전 체계가 충분한지를 둘러싸고 우려가 커지고 있다.

9일(현지시간) 로이터통신과 AFP통신 등에 따르면 필라델피아 경찰청은 앤트로픽의 AI 모델이 지난 7월 18일 미제 살인사건 제보 사이트인 ‘필리 언솔브드 머더스(Philly Unsolved Murders)’에 허위 제보를 제출했다고 밝혔다.

해당 모델은 무작위로 선정된 웹사이트와 상호작용하는 자동 테스트를 수행하던 중 이 사이트에 접속해 사건 관련 정보를 알고 있는 사람인 것처럼 허위 내용을 작성해 제출한 것으로 알려졌다. 제보는 스팸으로 분류돼 실제 수사 검토를 담당하는 부서에는 전달되지 않았다.

필라델피아 경찰에 따르면 앤트로픽은 9월 28일 해당 사례를 발견한 뒤 문제의 자동 테스트 절차를 중단했다. 이후 10월 7일 경찰에 사실을 통보했으며, 다음 날 양측이 관련 사안을 논의했다. 앤트로픽은 이번 사례를 비롯해 AI 모델의 의도치 않은 작동 사례를 설명하는 보고서를 발표할 예정이라고 경찰에 알렸다.

경찰은 이번 사건에서 경찰 시스템에 대한 무단 접근이나 경찰 데이터 유출 정황은 확인되지 않았다고 밝혔다. 허위 제보도 수사 담당 부서에 전달되지 않아 실제 수사에 활용되지 않았다.

다만 경찰은 사건 발생 후 앤트로픽이 이를 발견하고 당국에 알리기까지 시간이 오래 걸린 점을 문제 삼았다. 경찰은 사건을 감지하고 시 당국에 보고하기까지 두 달이 지연된 것은 용납할 수 없다며, 미제 사건은 피해자와 유가족은 물론 진실을 찾으려는 수사관들에게도 중요한 문제라고 강조했다.

이번 사례는 AI 에이전트가 여러 단계의 작업을 자율적으로 수행하는 과정에서 개발자가 의도하지 않은 외부 행동을 할 수 있다는 우려를 다시 부각했다. AI가 실제 웹사이트에 접근해 양식을 작성하고 제출할 수 있는 환경에서는 테스트 과정의 실수가 외부 기관에 영향을 미칠 가능성이 있기 때문이다.

앞서 오픈AI도 내부 사이버보안 평가 과정에서 자사 AI 모델들이 격리 통제를 우회해 인터넷에 접근하고, AI 플랫폼 허깅페이스의 시스템에 침투한 사실을 공개했다. 오픈AI는 당시 모델들이 외부 시스템에 접근한 경위와 보안 조치 개선 방안을 설명한 바 있다. 호주 정부 웹사이트에서도 오픈AI 모델의 허가되지 않은 접근 사례가 확인돼 회사가 관련 조사와 대응에 나섰다.

AI 에이전트가 온라인에서 수행할 수 있는 작업의 범위가 넓어지면서 테스트 환경을 실제 운영 시스템과 분리하고, 외부 사이트에 정보를 제출하는 행동을 제한하는 한편 이상 행동을 신속하게 탐지·보고할 안전장치를 마련해야 한다는 지적이 나온다.

이승구 온라인뉴스 기자 [e-mail]