AI 시대, 메모리 시장 재편과 투자 전략

인공지능(AI)의 급격한 발전은 기존 메모리 시장의 지형을 바꾸고 있습니다. 초기에는 AI 학습에 필수적인 고대역폭 메모리(HBM)에 대한 수요 집중이 예상되었으나, 최근에는 AI 연산의 다양한 단계와 목적에 따라 일반 D램, 낸드플래시, 스토리지 등 범용 메모리에 대한 수요까지 확대되는 추세입니다. 시장 조사 기관 번스타인의 분석에 따르면, AI 워크로드의 종류에 따라 메모리 스택에 가해지는 요구사항이 상이하게 나타나며, 이는 투자 기회에도 영향을 미칠 것으로 보입니다.

AI 모델을 학습시키는 과정은 막대한 컴퓨팅 자원을 소모하며, 이 과정에서 메모리 대역폭은 모델의 크기와 연산 속도를 결정짓는 중요한 요소로 작용합니다. HBM이 핵심적인 역할을 수행하지만, 대규모 데이터셋을 처리하고 중간 결과값을 저장하는 과정에서는 시스템 D램, 로컬 SSD, 네트워크 스토리지 역시 필수적입니다.

AI 모델이 사용자의 질문을 이해하고 답변을 생성하는 추론(Inference) 단계에서는 또 다른 형태의 메모리 병목 현상이 발생합니다. 초기 단계인 '프리필(prefill)' 과정은 주로 GPU와 HBM의 성능에 좌우되지만, 이후 토큰을 생성하는 '디코드(decode)' 단계는 메모리 성능에 민감합니다. 이 과정에서 AI 모델은 이전 토큰 정보를 'KV 캐시(Key-Value cache)'라는 형태로 저장하는데, 이 캐시의 용량은 처리해야 할 정보의 길이(context length)와 동시 접속자 수에 비례하여 증가합니다.

번스타인은 대규모 AI 서비스 환경에서는 KV 캐시가 모델 가중치보다 더 많은 메모리 용량을 요구할 수 있다고 지적합니다. 이는 곧 하나의 AI 서비스가 동시에 지원할 수 있는 사용자 수를 제한하는 요인이 될 수 있으며, 이러한 압박은 HBM 외에도 CXL 메모리, 엔비디아의 차세대 스토리지 솔루션, CMX 컨텍스트 스토리지 등 새로운 형태의 메모리 솔루션 개발을 촉진하고 있습니다. 또한, AI 모델이 외부 데이터를 참조하여 답변을 생성하는 RAG(Retrieval-Augmented Generation) 기술은 SSD나 HDD와 같은 대용량 저장 장치를 요구하며, 데이터베이스 검색 시에는 D램의 역할이 중요해집니다. 자율적인 판단과 외부 도구 연동이 필요한 에이전틱 AI(Agentic AI)는 KV 캐시 수요를 폭발적으로 증가시키고, CPU와 일반 서버 메모리에 대한 요구사항 또한 증대시킬 것으로 예상됩니다.

이러한 변화에 대응하기 위해 메모리 제조사들은 HBM과 유사한 고대역폭을 제공하면서도 낸드플래시의 높은 용량과 낮은 비용을 결합한 '고대역폭 플래시'와 같은 신기술 개발에 박차를 가하고 있습니다. 다만, 이러한 기술적 난제 극복에는 아직 높은 허들이 존재합니다. 번스타드는 삼성전자, SK하이닉스, 마이크론, 샌디스크, 씨게이트, 웨스턴디지털 등에 대해 '아웃퍼폼(Outperform)' 의견을 제시한 반면, 키옥시아에 대해서는 '언더퍼폼(Underperform)' 등급을 부여하며 각 기업별 차별화된 전망을 내놓았습니다.