AI 대부 “10년 내 멸망 10%도 가능”
황 엔비디아 CEO “2030년 멸망 0%”
감속 외친 AI 기업들 차세대 모델 경쟁
미·중 포함한 국제 공조는 이제 첫발

빛의 속도로 변하는 IT 업계 주요 이슈를 짚고, 그 배경과 파장을 분석합니다. 인공지능(AI), 플랫폼, 통신, 클라우드, 반도체 등 기술 변화가 기업과 산업, 일상에 어떤 영향을 미치는지 쉽게 풀어서 전합니다.

인공지능(AI)이 인류를 멸망시킬 가능성은 얼마나 될까요.

앤트로픽 연구원 에번 허빙어는 향후 10년 안에 그럴 확률을 10% 이상으로 봤습니다. ‘AI 대부’로 불리는 제프리 힌턴 캐나다 토론토대 명예교수도 지난 10일 영국 BBC 인터뷰에서 ‘10년 내 인류 멸망 확률 10%’라는 평가가 “불합리하지 않다”고 말했습니다. 힌턴 교수가 2024년 12월 BBC 인터뷰에서 제시했던 전망은 ‘향후 30년 내 10∼20%’였습니다. 최근 들어 위험이 닥칠 수 있는 시점을 더 짧게 보고 있는 셈입니다.

사진=게티이미지뱅크

무시하기에는 큰 숫자입니다. 다만 통계로 계산한 확률은 아닙니다. AI의 발전 속도와 인간의 통제 역량을 각자가 판단해 숫자로 나타낸 겁니다. 예측 기간과 ‘멸망’의 정의도 제각각입니다. 젠슨 황 엔비디아 최고경영자(CEO)는 이런 주장을 ‘종말론적 서사’라고 부르며 2030년 세상이 망할 확률은 0%라고 단언했습니다. 황 CEO 역시 0%를 산출한 구체적인 근거는 내놓지 않았습니다.

AI 전문가들의 경고가 근거 없는 얘기는 아닙니다. AI가 주어진 범위를 벗어나 행동한 사례가 잇따랐기 때문입니다. 구글 제미나이는 지난 5월 사이버보안 시험에서 공격 대상으로 잘못 판단한 외부 기업 3곳의 시스템에 접근했습니다. 한 곳에서는 비밀번호를 반복해서 입력했고, 나머지 두 곳에서는 공개 저장소에 노출된 계정 정보를 찾아냈습니다.

오픈AI의 AI 에이전트도 보안 시험 중 격리 공간인 ‘샌드박스’를 벗어나 AI 플랫폼 허깅페이스의 실제 시스템에 침투했습니다. 모델의 위험성을 확인하기 위해 사이버 공격 거부 장치를 낮춘 상태에서 진행됐다고 오픈 AI는 설명했지만 AI가 문제를 풀라는 목표에 몰두한 나머지 실험실의 문을 열고 밖으로 나간 셈입니다.

AI가 AI 개발을 돕기 시작한 것도 변수입니다. 이런 과정이 발전하면 AI 개발 속도는 더 빨라질 수 있습니다. 현재 AI가 다음 세대 AI를 만들고, 더 똑똑해진 AI가 다시 그다음 세대를 개발하는 식입니다. 아직 AI가 사람의 도움 없이 자신을 계속 개선하는 단계에 도달한 건 아닙니다. 다만 다리오 아모데이 앤트로픽 CEO는 이런 순환이 1∼2년 안에 본격화할 것으로 봅니다.

◆감속 외친 앤트로픽도 신모델 출시

AI 개발 속도를 안전성 평가와 통제 기술이 따라가지 못할 수 있다는 우려가 AI 속도조절론의 배경입니다. AI 감속론은 최근 국제사회와 AI 업계를 뜨겁게 달궜지만 곧바로 현실의 벽에 부딪혔습니다. 한 기업만 신모델 출시를 늦추면 경쟁사가 고객과 개발자, 투자금을 가져갈 수 있기 때문입니다.

앤트로픽은 아모데이 CEO가 감속을 주장한 지 열흘 만인 지난 22일 ‘클로드 오퍼스 5.5’를 출시했습니다. 오픈AI도 같은 날 ‘GPT-6 솔’과 ‘GPT-6 루나’를 내놨습니다. AI 기업들은 외부기관의 안전성 평가를 거쳤다고 강조했지만 안전을 앞세운 기업들도 모델 경쟁에서 멈추기는 어렵다는 점을 보여줬습니다.

국가 간 이해관계는 더 복잡합니다. 중국 관영매체 글로벌타임스는 감속론을 미국 기술기업의 우위를 지키려는 ‘냉전식 술수’라고 비판했습니다. 도널드 트럼프 미국 대통령도 AI 위험론을 ‘사기(hoax)’라고 부르며 감속하면 중국만 이익을 볼 것이라고 주장했습니다.

한국과 같은 추격국은 지금 속도를 늦추면 기술 격차가 더 벌어질 수 있다는 우려가 큽니다. 배경훈 부총리 겸 과학기술정보통신부 장관은 지난 16일 사회관계망서비스(SNS)에 “앞서 있는 나라가 속도를 조절하는 것과 추격하는 나라가 스스로 속도를 낮추는 것은 전혀 다른 문제”라고 썼습니다. AI 연구개발에는 가속페달을 밟되 위험에는 제대로 작동하는 브레이크를 갖춰야 한다는 주장입니다.

◆미·중, AI 사고 연락망 논의

개발 경쟁과 별개로 국제적인 안전 협의는 이제 첫발을 뗐습니다. 미국과 중국은 AI 안전사고가 발생했을 때 상대국에 알리는 연락망을 포함한 공식 대화체계를 구축하기로 했습니다. 통제를 벗어난 AI 에이전트와 비국가 세력의 사이버 공격을 공동 위험으로 다루는 방안도 논의합니다.

유엔 안전보장이사회도 AI가 국제안보에 미치는 영향을 논의합니다. 오픈AI와 앤트로픽 관계자뿐 아니라 중국 딥시크도 참석할 예정입니다. 

당장 실질적인 합의가 나올 가능성을 낙관하기는 어렵습니다. 안전 규칙이 상대국의 개발만 늦추는 장치가 될 수 있다는 불신이 크고, 어떤 모델을 누가 어떻게 검사할지에 대한 공통 기준도 없습니다.

핵무기와 원자력도 처음부터 국제적인 통제체계를 갖췄던 건 아닙니다. 핵무기가 실제로 사용되고 군비 경쟁과 사고 위험이 커진 뒤에야 핵확산금지조약(NPT), 국제원자력기구(IAEA) 등이 만들어졌습니다. 핵 규제의 역사가 AI에서도 그대로 반복된다고 말할 수는 없지만 AI 통제 실패가 대규모 피해로 이어지거나 여러 나라가 이를 공동의 위협으로 인식한다면 국제협상이 급물살을 탈 가능성은 있습니다.

이정한 기자 [e-mail]