[사이언스프리즘] AI가 만들어낸 느린 메모리의 기회

인공지능 모델 크기 갈수록 커져
HBM 속도 빠르지만 용량서 한계
저장 강점 HBF가 대안으로 부상
이젠 융합… 메모리 세대교체 예고

챗지피티가 대성공을 거두자, 전 세계적으로 유례가 없을 정도의 반도체 붐이 일어나기 시작했다. 한때 게임과 그래픽 처리에 주로 사용되던 GPU는 이제 대표적인 인공지능 반도체가 되었고, GPU의 최강자인 엔비디아는 연 100조원 이상 순이익을 올리는 회사가 되었다. 이에 힘입어 인공지능 GPU의 짝이라고 할 수 있는 고대역폭메모리(HBM)의 매출 역시 크게 증가했다. 그런데, 이런 메모리 시장에 도전장을 던져보려는 다른 종류의 메모리가 하나 있다. 바로 고대역폭플래시메모리(HBF)이다. HBF는 무엇일까?

HBF를 제대로 이해하기 위해서는, HBM을 구성하는 기초 메모리인 D램과 HBF를 구성하는 기초인 플래시 메모리를 먼저 알아볼 필요가 있다. 본래 컴퓨터는 단 두 개의 주요 부품으로 구성되었다. 하나는 저장 장치인 메모리이고, 다른 하나는 CPU, GPU 등 처리 장치이다. 메모리는 수행해야 할 프로그램을 저장해 두는 역할을 하고, 처리 장치는 저장 장치에서 프로그램을 읽어 와 작업을 수행하고 작업 결과를 메모리에 다시 적는다. 이는 사람(처리 장치)이 일을 할 때, 작업 지시서(메모리)를 읽고 작업을 수행한 뒤 결과를 작업 지시서에 적는 것과 같다. 여기서 메모리가 바로 D램이다. HBM 역시 D램의 일종이다.

정인성 작가

그런데 컴퓨터 발전 과정에서 문제가 생긴다. 저장 장치인 메모리의 용량 증가 속도보다 프로그램의 용량 증가 속도가 빨랐던 것이다. 모든 프로그램을 D램에 저장할 수 없게 되자, 속도는 느리지만 데이터 보존성이 높은 제3의 부품이 컴퓨터에 필요해졌다. 이 부품을 보조기억장치라고 부르며, 보조기억장치를 만드는 데 사용되는 반도체가 바로 플래시 메모리이다. 플래시 메모리는 많은 프로그램을 저장해야 하기 때문에 D램보다 고밀도인 대신 최대 성능은 낮은 제조 기술을 사용한다.

이 설명만 보면, 인공지능에 저성능 기술을 사용하려는 것이 다소 의아할 수 있다. 그런데 지금의 인공지능은 매우 용량이 큰 프로그램이라는 특징이 있다. 우리가 일반적으로 사용하는 엑셀, 파워포인트 등의 프로그램은 10~20GB의 용량을 차지한다. 그런데 인공지능은 용량이 더욱 크다. 2022년 말 열풍을 일으켰던 GPT-3는 100GB가 넘고, 최근에는 1000GB가 넘는 인공지능도 개발되고 있다. 이런 상황인데 현재 주력 메모리인 HBM은 제품 1개당 용량이 24~36GB밖에 되지 않는다. 그렇다 보니 지금은 인공지능을 구동하기 위해 값비싼 인공지능 가속기를 여러 개 엮어서 사용해야만 한다. 플래시 메모리는 성능이 낮지만, 제품 1개당 용량이 높으니 여러 가속기를 연결하는 대신 1개의 가속기로 거대한 인공지능을 구동할 수 있다. 가성비가 높아지는 것이다.

물론, 이는 이론상 얻을 수 있는 이득일 뿐이고 제품화에 성공하기 위해서는 고려할 점이 더 많다. HBF는 HBM보다 성능이 낮다. 그래서 HBF를 사용하기 위해서는 높은 성능(특히 반응속도)이 필요하지 않은 부분은 HBF에 저장하고, 높은 성능이 필요한 부분은 기존 HBM에 나눠 담는 등 기존 인공지능 소프트웨어를 고쳐야 한다. 그리고 인공지능 회사들은 플래시 메모리를 통해 인공지능을 구동해 본 적이 없기 때문에, 잠재력을 제대로 발휘하기 위해서는 반도체 회사들의 도움이 필수적이다.

HBF는 앞으로는 메모리 회사들이 정보기술(IT) 소프트웨어를 매우 깊이 이해해야 한다는 것을 보여주는 제품이다. 반도체 미세화는 어려워졌는데, 인공지능은 어마어마한 메모리 용량을 요구하고 있다. 그런데 이제는 옛날처럼 미세화를 빠르게 진행해 용량과 성능을 함께 높이는 방법을 쓸 수 없게 되었으니, 이젠 고객에게 새 제품을 제시하고 이를 어떻게 사용해야 하는지 알려줘야 하기 때문이다. 제품 하나를 만들기 위해서는 기존에는 필요하지 않았던 수많은 역량이 필요해졌지만, 대신 이 역량을 갖춘 메모리 회사는 메모리 산업의 승리자를 넘어 ‘IT 혁신’의 승리자 기업이 될 수 있을 것이다.

정인성 작가