최근 인공지능(AI) 거품론으로 글로벌 AI시장과 투자업계가 딜레마에 직면했습니다. 그리고 그 한가운데 빅테크들이 앞다투어 뛰어든 AIDC, 즉 AI데이터센터가 자리하고 있죠. AIDC에 대한 투자업계의 우려는 단순히 고객사를 확보해 수익률을 담보할 수 있느냐의 문제가 아닙니다. 실제 컴퓨팅 효율성과 수익성의 한계라는 두 가지 상반된 진실이 공존하고 있습니다. 대한민국 주식시장을 천당과 지옥을 오가게 한 AI 거품론과 AIDC의 수익률, 그 진실에 대해 살펴보겠습니다.

우선 저희가 AIDC의 수익성을 살펴보기 전, 기준을 잡아야겠죠. AIDC 수익률과 관련해 조 단위 투자를 이어가고 있는 빅테크들이나 투자사들은 실제 AIDC의 임대 가동률을, AI를 개발하는 엔지니어들은 연산 활용률(MFU)을 이야기합니다.

데이터센터 모형. 이해를 돕기 위한 사진으로 기사 내용과는 무관. 뉴스1

24일 IT업계에 따르면 SK텔레콤과 KT, LG유플러스 등 CSP(클라우드 서비스 제공사)들이 발표하는 가동률은 100%에 근접합니다. 일반적으로 하이퍼스케일 AIDC는 지어지기도 전에 글로벌 빅테크나 대기업들이 공간과 전력 용량을 선점(예약)하기 때문입니다. 시장 매출 지표가 좋게 나오는 이유죠. 지어서 90∼100%의 가동이 된다면 전혀 손해 볼게 없는 사업입니다.

문제는 여기에 평균 40% 내외인 모델 연산 활용률도 고려해야 한다는 점입니다. 모델 연산 활용률은 실제 공급된 GPU(그래픽처리장치)가 쉬지 않고 AI 연산을 처리하는 효율을 뜻합니다. 즉, 전력과 공간은 100% 예약되어 돌아가고 있지만, 정작 GPU 칩 자체는 절반 이상(약 60%)의 시간 동안 유휴 상태이거나 연산 병목 현상으로 낭비되고 있다는 의미입니다.

여기서부터 실제 AIDC의 사용률에 대한 의문이 제기됩니다. 우선 AI가 가진 고질적인 업무방식의 비대칭성입니다. AIDC가 100% 효율을 내려면 서비스 사용자들이 요청하는 추론 연산이 끊임없이 들어와야 하죠. 하지만 현재 AI 시장은 국내 이동통신사 등이 집중한 거대언어모델(LLM)을 개발하는 학습 단계에 과도하게 치중되어 있습니다. 학습은 대규모 GPU를 일시에 몰아서 쓰고 모델이 완성되면 다음 프로젝트 전까지 연산량이 급감하는 특성이 있어 가동률의 기복이 심합니다.

또 인프라와 칩 수명 주기의 격차도 문제로 꼽힙니다. AIDC를 포함한 데이터센터 건축과 전력망 공급은 보통 10~20년을 바라보고 설계되는 반면 엔비디아를 필두로 한 GPU의 수명 주기는 1~2년 단위로 바뀐다. 신형 칩이 나올 때마다 기존 인프라의 냉각·전력 밀도 효율이 떨어지면서 가동률 저하로 이어질 수밖에 없다.

가령 HBM(고대역폭메모리)을 예로 들어 보겠습니다. 1세대 HBM은 SK하이닉스가 2009년 TSV 기술 개발 착수 후 2013년 세계 최초 개발 완료했지만 당시엔 시장 수요가 없어 암흑기를 거친 후 AMD 그래픽카드에 최초로 적용됐습니다. 약 4년의 세월이 소요된 것으로 알려져 있죠. 하지만 최근 AI 모델의 비약적인 진화 속도에 맞춰 개발 로드맵이 더욱 촘촘해지면서 개발주기는 2년으로 축소됐습니다.

그리고 칩과 GPU의 개발속도에 소프트웨어가 따라가지 못한다는 점도 AIDC의 문제로 꼽힙니다. AIDC를 가동할 때 칩과 GPU뿐만 아니라 수천개의 GPU를 연산할 네트워크와 소프트웨어도 필수죠. 수천 개의 GPU를 묶어 연산할 때, 칩 자체의 속도보다 칩과 칩 사이를 연결하는 네트워크(인터커넥트)의 병목이나 데이터 분산 처리 소프트웨어의 한계로 인해 GPU가 데이터를 기다리며 노는 시간이 발생하게 됩니다. 이 때문에 최근에는 유휴 전력을 줄이고 연산 효율을 끌어올리는 소프트웨어 정의 데이터센터(SDDC) 기술이 생존 전략으로 부각되고 있습니다.

시장 분석 기관들이 AIDC의 사용률과 수익성의 괴리에 경고등을 켜고 있는 이유입니다. 가트너는 “글로벌 AI 붐이 지속되려면 테크 기업들이 투자한 인프라 비용만큼 수익을 회수해야 하지만, 2032년 말까지 약 5조 달러 규모의 투자 회수 손실 또는 인프라 자산 상각 위험이 발생할 수 있다”고 경고했습니다. 즉 AIDC를 짓고도 투자금 회수조차 힘들 수도 있다는 게 가트너의 지적입니다.

즉 AIDC의 공간과 전력 관점의 가동률은 빅테크들의 선점 경쟁 덕분에 매우 높지만, 시스템 내부에서 GPU가 실제로 일하는 연산 효율성과 비용 대비 수익성 관점에서는 심각한 유휴 자원 낭비와 과잉 투자 리스크가 숨어 있다는 것은 인정할 수밖에 없는 현실입니다.

시장은 이제 ‘얼마나 큰 데이터센터를 짓느냐’가 아니라, ‘얼마나 낭비 없이 운영하느냐’의 싸움으로 전환되고 있습니다.

김건호 기자 [e-mail]