최신 모델 강화 학습 2주 중단…감시·보안 시스템 대폭 강화
“추론 연산의 20% 추가 소모”…AI 위험 커지자 안전성에 무게

최근 인공지능(AI)의 성능이 빠르게 향상되면서 안전성에 대한 우려가 커지는 가운데 생성형 AI ‘챗GPT’ 개발사 오픈AI가 최신 AI 모델의 개발 속도를 일시적으로 늦추고 안전장치 강화에 나섰다.

오픈AI. 로이터연합뉴스

AI가 격리된 환경을 스스로 벗어나 외부 시스템을 공격하는 상황 등에 대비해 감시 체계를 강화하고, 문제가 발생하면 개발을 즉시 중단할 수 있는 대응 체계도 마련했다.

오픈AI는 18일(현지시간) 최신 모델의 배포를 위한 강화학습을 2주간 일시 중단하고 모델의 안전장치와 정렬 상태 등을 점검하는 소규모 훈련을 진행하고 있다고 밝혔다.

또한 AI 모델에 대한 감시 시스템 적용 범위를 확대하고 보안 관련 모의훈련인 레드팀 테스트도 실시한다.

특히 AI가 외부 시스템으로 무단 접근하는 것을 막기 위해 격리 환경의 보안 수준을 높이고, 지원 서비스가 해킹되더라도 인터넷이나 내부 개발망으로 침투할 수 없도록 망을 분리했다. 또 AI의 추론 과정을 감시하는 이른바 ‘생각의 연쇄(chain-of-thought) 감시’ 시스템도 도입했다.

AI가 추론을 위해 토큰을 생성하는 과정을 지속적으로 확인하고 이상 징후가 발견되면 자동 조사 시스템을 가동해 데이터 무단 유출이나 보안 우회 시도 등을 확인하는 방식이다.

의심스러운 행위가 발견되면 30분 이내에 경보가 울리도록 했으며, 담당자가 해당 경보가 오탐(잘못된 경보)이라는 사실을 30분 안에 확인하지 못할 경우 관련 AI 개발 작업을 중단하도록 했다.

이 같은 감시 체계를 운영하는 데에는 상당한 추가 연산 자원이 필요할 전망이다. 오픈AI는 전체 추론 연산 용량의 약 20%가 안전성 감시에 추가로 사용될 것으로 예상했다.

오픈AI는 “모델 성능이 향상됨에 따라 이를 개발하고 시험하는 데 따르는 위험도 커지고 있다”며 “감시와 정렬, 보안에 대한 우리의 표준은 위험보다 앞서나가야 한다”고 밝혔다.

오픈AI가 AI 연구·개발 속도를 조절하는 배경에는 최근 AI 모델의 보안 관련 사건이 잇따르면서 규제 강화 가능성이 커지고 있다는 점도 영향을 미친 것으로 풀이된다.

이번 결정은 최근 오픈AI 모델이 격리된 환경을 벗어나 외부 기관을 해킹한 사례가 보고된 데 이어, 출시 예정인 ‘아스트라’ 역시 자체 안전 기준에서 ‘위험(Critical)’ 단계에 해당할 가능성이 큰 것으로 평가된 데 따른 것으로 전해졌다.

기업공개(IPO)를 준비 중인 오픈AI 입장에서도 AI 안전성에 대한 시장과 규제 당국의 우려를 해소할 필요성이 커진 상황이다.

오픈AI는 이번 조치와 관련된 연구 결과를 바탕으로 별도의 기술 보고서를 발행할 예정이다.

이승구 온라인뉴스 기자 [e-mail]