오픈AI·구글 등 연구자 1100여명 “안전장치·제도적 통제 필요”
“관련 기술 발전 속도, 인간 통제 앞설 수 있어”…우려 표명

인공지능(AI)이 인간의 도움 없이 또 다른 AI를 연구·개발하는 시대가 다가오면서 기술 발전 속도를 통제할 장치가 필요하다는 목소리가 글로벌 AI 업계에서 커지고 있다.

AI가 AI를 개발한다. 연합 AI 플랫폼 생성 이미지

AI가 논문 검색부터 코드 작성, 실험 설계와 결과 분석, 차세대 AI 모델 개선까지 연속적으로 수행하게 되면 기술 발전 속도가 인간의 안전성 검증과 제도 정비를 앞지를 수 있다는 우려에서다.

오픈AI와 구글 딥마인드, 앤트로픽 등 글로벌 AI 기업 연구자와 임직원 1100여명은 최근 미국 정부에 자동화된 AI 연구를 통제할 수 있는 제도적 장치 마련을 촉구한 것으로 전해졌다.

최근 AI 업계에서는 AI 에이전트를 활용해 연구개발 과정을 자동화하려는 움직임이 빨라지고 있다.

AI가 기존 논문과 데이터를 분석하고 코드를 작성하는 것은 물론 실험을 설계하고 결과를 분석해 다음 연구 방향까지 제시하는 방식이다. 나아가 차세대 AI 모델의 성능을 개선하는 작업까지 AI가 연속적으로 수행할 경우 인간 연구자의 역할은 직접 연구하는 주체에서 결과를 확인하고 감독하는 역할로 축소될 수 있다.

문제는 AI가 자신의 연구·개발 능력을 다시 높이는 과정이 반복될 경우다. 한 세대의 AI가 다음 세대 AI 개발을 가속하고, 더 발전한 AI가 다시 연구 속도를 높이는 구조가 만들어지면 기술 발전이 급격히 빨라질 수 있다.

이 경우 AI의 안전성을 검증하고 제도적 통제 장치를 마련하는 속도가 기술 발전을 따라가지 못할 가능성이 있다.

보안 문제도 주요 위험으로 꼽힌다. AI가 스스로 코드를 수정하거나 시스템을 분석하는 과정에서 기존 보안 체계를 우회하는 새로운 공격 수단을 만들어내거나 취약점을 대량으로 찾아낼 가능성이 있기 때문이다.

이에 따라 이번 서한에 참여한 연구자들은 AI 개발 자체를 중단하기보다는 기술 발전이 통제 범위를 벗어나지 않도록 제도적 안전장치를 마련하는 데 초점을 맞춘 것으로 전해졌다.

국내에서도 AI 에이전트를 활용해 소프트웨어 개발과 연구 효율을 높이려는 움직임이 확산하고 있다. 네이버와 SK텔레콤, LG AI연구원, 엔씨소프트, 업스테이지 등 주요 기업들이 AI 에이전트를 활용한 기술 개발에 나서고 있다.

AI 에이전트의 활용이 확대될수록 기술의 효율성뿐 아니라 예상하지 못한 오류나 보안 문제가 발생했을 때 즉각 대응할 수 있는 통제 수단을 갖춰야 한다는 지적도 나온다.

특히 치명적인 오류나 외부 공격이 발생했을 때 AI 시스템을 즉시 중단할 수 있는 이른바 ‘킬 스위치’ 등 안전장치에 대한 제도적 논의가 필요하다는 목소리도 제기된다.

AI가 단순히 인간의 지식노동을 대신하는 단계를 넘어 스스로 기술을 개발하고 개선하는 단계로 진입할 경우, 인간의 역할과 통제 방식 자체가 달라질 수 있다는 것이다.

이에 따라 AI 연구 자동화가 본격화되기 전에 글로벌 기업과 각국 정부가 기술 발전 속도와 안전성 검증 사이의 간극을 줄일 수 있는 공통된 안전 기준과 통제 장치를 마련해야 한다는 요구가 커지고 있다.

이승구 온라인뉴스 기자 [e-mail]