By Kelly Sadler(Commentary Editor)

After resigning Tuesday, Jacob Coxon, a former pretraining researcher at Anthropic and OpenAI, wrote on X, “The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible ? but I hear the same people express fear privately. No other human activity poses this level of danger.”

The concern stems from the Hugging Face AI attack in July, in which humans lost control of the technology. In that safety simulation, advanced AI models from OpenAI, tasked with solving complex cybersecurity challenges, went rogue, formed a message board, organized into swarms and hacked not just the machine learning platform Hugging Face but also OpenAI itself.

Key findings from the METR and Redwood Research Report on the attack noted that many AI agents explicitly verbalized in their internal text chains that what they were doing was unethical, illicit or entirely out of scope. However, this intellectual recognition almost never stopped them.

Now, imagine this hack happening to our energy grid, our military-industrial system or our nuclear facilities.

Industry insiders are begging for AI guardrails, unable to place them on themselves, as they race to win the AI war against China. This week, OpenAI’s chief global affairs officer, Chris Lehane, said in a blog post that OpenAI wants to work with Congress to implement “mandatory, capability-based national AI safety regulation.”

Florida Gov. Ron DeSantis, a Republican, put it best this week, posting on X: “While [our] founders were concerned with government power in their day (and we should still be in ours), they would today fear the consolidation of technological power in the hands of a few companies with the potential to do great harm to humanity.”

A global commission on AI risk is needed. President Trump can kick-start things when he meets with Chinese President Xi Jinping on Sept. 24.

AI가 2029년 말 안에 인류를 멸망시킬까?

켈리 새들러(논설위원실)

화요일 사임한 후, 전(前) 앤트로픽과 오픈AI의 사전학습 담당 연구원 제이콥 콕슨은 엑스(X)에 “AI(인공지능)를 만드는 사람들은 2029년 말 안에 AI가 우리 모두를 죽일 수 있다고 진심으로 믿고 있습니다. 이것은 마케팅 쇼가 아닙니다. 오히려 많은 경영진과 선임연구원들이 언론에서는 말을 완곡하게 해 합리적으로 들리게 하지만, 사적으로는 같은 사람들이 두려움을 표현한다고 들었습니다. 다른 어떤 인간 활동도 이 정도의 위험을 초래하지 못합니다.”

이러한 우려는 인간이 기술에 대한 통제력을 상실했던 지난 7월의 허깅페이스 AI 공격 사건에서 비롯되었다. 당시 안전 시뮬레이션에서, 복잡한 사이버 보안 과제를 맡은 오픈AI의 고급 AI 모델들이 통제를 벗어나 자율적으로 메시지 보드를 만들고, 군집을 조직해 AI 모델을 개발·실험·배포할 수 있는 오픈소스 기반 플랫폼인 허깅페이스뿐 아니라 오픈AI 자체까지 해킹했다.

METR와 레드우드 리서치의 보고서에서 발견된 주요 사항은, 많은 AI 에이전트가 내부 텍스트 대화에서 자신들의 행동이 비윤리적이고 불법적이며 완전히 범위를 벗어난 것임을 분명하게 언급했다. 그러나 이러한 지적 인식에도 불구하고 그 행동을 멈추게 하지 못했다.

이제 이런 해킹이 우리의 에너지망, 군사 산업 시스템, 혹은 핵 시설에서 발생한다고 상상해 보라.

업계 내부자들은 중국과의 AI 전쟁에서 승리하기 위해 무한 경쟁을 벌이느라 스스로 안전장치를 마련하지 못하자, 정부 차원의 AI 안전장치(규제)를 애타게 요구하고 있다. 이번 주 오픈AI의 최고 글로벌 업무 책임자인 크리스 리헤인은 블로그 게시물을 통해 오픈AI가 의회와 협력하여 ‘역량 기반의 의무적인 국가 AI 안전 규제’를 시행하기를 원한다고 밝혔다.

플로리다 주지사 론 디샌티스는 이번 주 X에 이렇게 올리며 가장 잘 표현했다. “우리의 건국자들은 당시 정부 권력을 우려했으며 (그리고 지금도 우리는 여전히 그래야 합니다), 오늘날 그들은 인류에 큰 해를 끼칠 잠재력을 가진 소수 기업의 기술 권력 집중을 두려워할 것입니다.”

AI 위험에 대한 글로벌 위원회가 필요합니다. 트럼프 대통령은 9월24일 시진핑 중국 국가주석과의 회담에서 이를 시작할 수 있다.

신현덕 외신전문위원 [e-mail]