마이크론, AI 성장 발목 잡는 건 칩 아닌 냉각

마이크론 테크놀로지(Micron Technology) 사장 겸 최고기술제품책임자(CTPO) 스콧 J. 디보어(Scott J. DeBoer)는 9월 2일 타이베이 난강전시장에서 열린 2026 국제반도체전(SEMICON Taiwan) 마스터포럼에서 'From Silicon Innovation to System Intelligence: Architecting the Next Wave of AI'라는 제목의 기조연설을 했다. 그의 한마디가 이날 행사의 분위기를 결정지었다: AI는 이제 메모리의 속도로 확장되고 있다. 그는 최근 몇 년간의 기술 발전 덕분에 기존 비트에서 더 많은 효율을, 고정된 용량에서 더 많은 대역폭을 끌어낼 수 있게 됐지만, 이는 전 세계 데이터센터 구축 수요를 충족하기에는 여전히 크게 부족하며, 메모리는 앞으로도 수년간 '심각한 공급 부족' 상태가 지속될 것이라고 경고했다.

대역폭, 용량, 방열: AI 시스템의 철의 삼각형

디보어는 메모리 시스템의 세 가지 차원을 그날 아침에 떠올렸다는 자동차 비유로 설명했다. 대역폭은 엔진의 마력으로, 사람들이 이제 당연하게 여기는 연산 성능 향상을 제공하려면 계속 끌어올려야 하는 최우선 조건이다. 용량은 연료탱크로, 대역폭이 부족할 때는 큰 용량이 필요 없지만 대역폭이 높아질수록 이를 받쳐줄 용량도 자기강화적 순환 속에서 함께 커져야 한다. 세 번째 요소인 방열은 타이어에 비유된다. 엔진이 아무리 크고 연료탱크가 가득 차 있어도 타이어에 바람이 빠져 있으면 차는 움직이지 않는다. 그는 지난 1년간 방열 관리가 극적으로 변화했다고 설명했다. 파트너사들과의 협력으로 대역폭이 계속 높아지면서, 시스템에서 열을 얼마나 잘 빼낼 수 있는지가 오히려 대역폭이 궁극적으로 얼마나 빨라질 수 있는지를 결정짓는 제약 조건이 됐다는 것이다. 세 가지 조건이 동시에 갖춰져야 한다는 것, 그것이 바로 'AI가 메모리의 속도로 확장한다'는 말의 진정한 의미라고 그는 말했다.

디보어는 메모리 업계 고유의 '무어의 법칙'이 여전히 지수 곡선을 그리고 있다고 주장했다. 반도체 업계에서 30년을 보낸 그의 기준으로 볼 때, D램은 15개의 공정 노드를 거쳐왔으며, 이러한 성장은 단순한 미세화보다는 아키텍처 차원의 재설계에서 더 많이 비롯되고 있고, 앞으로도 이런 전환이 여러 차례 더 일어날 것이라고 말했다. 최첨단 D램의 집적도는 사람 머리카락 한 올의 지름 안에 1,500개 이상의 D램 커패시터를 넣을 수 있을 정도다. 같은 속도로 발전했다면 자동차는 어떻게 됐을까: 1995년형 270마력, 6만 달러, 갤런당 23마일을 달리던 포르쉐가 D램과 같은 궤적으로 진화했다면, 오늘날에는 거의 300만 마력에 5달러, 갤런당 23,000마일을 달리는 차가 됐을 것이라고 그는 설명했다.

첨단 패키징과 하이브리드 본딩이 직면한 세 가지 관문

• 첨단 패키징의 측면 확장 압력: 메모리가 로직 칩에 점점 더 많은 정보를 밀어넣어야 하면서, 한정된 제곱밀리미터 면적 안에서 입출력(I/O) 연결점을 늘려야 하는 압력이 커지고 있다. 이미 낸드(NAND)에 적용된 웨이퍼 대 웨이퍼 본딩이 향후 D램에도 도입될 예정이지만, 양산성과 공정 제어는 아직 크게 개선돼야 한다.
• 하이브리드 본딩의 양산 성숙도, 진짜 병목: 하이브리드 본딩은 업계 전반에서 아직 비교적 작은 규모로만 쓰이고 있으며, 다이 대 웨이퍼, 적층, 계측, 본딩 물리학 모두가 크게 성숙해야 초고용량 양산에서 안정적으로 신뢰할 수 있는 본딩을 구현할 수 있다. 현재 대량양산(HVM) 역량은 확연히 뒤처져 있다.
• 부수적 설계 요소였던 방열이 구조적 설계 과제로: 현대 시스템의 로직 발열은 균일하지 않기 때문에, D램은 이제 고객과 애플리케이션별로 맞춤 설계돼야 하며, 다이와 3차원 적층 내부에 물리적인 방열 구조를 내장해 하부 로직에서 상부 냉각 인터페이스까지 열을 전달해야 한다. 디보어는 이를 향후 4~5년간 HBM4E, HBM5, HBM5E는 물론 수직 메모리 제품의 대역폭 로드맵에서 가장 근본적인 과제로 꼽았다.

데이터센터에서 HBM은 성능 피라미드의 정점에 있지만, 시스템 전체는 HBM 하나만으로 돌아가지 않는다. 고밀도 DDR 메모리 모듈과 저전력 D램 모듈은 과거보다 더 크고 복잡한 역할을 맡아 모델을 메모리 안팎으로 이동시키고, KV 캐시 같은 대규모 메모리 수요를 흡수한다. 뜻밖에도 많은 낸드 업체들의 예상과 달리, 고성능 SSD가 데이터센터에서 대거 채택되고 있다. 4~5년 전만 해도 낸드는 형편없는 사업으로 여겨졌지만, 지금은 기술 혁신이 넘치는 고성능 분야로 뒤바뀌었다. 엣지에서는 로봇공학과 자동차 응용 분야 역시 높은 대역폭을 필요로 하지만, 전력 상한과 비용 구조는 데이터센터와 완전히 다르며, 이는 이미 심각한 D램 공급 부족에 추가 압력을 가하고 있다. 마이크론은 향후 10년간 약 2,500억 달러를 투자해 미국, 대만, 싱가포르, 일본의 공장을 확장하겠다고 공개적으로 밝힌 바 있다. 하지만 디보어는 이날 강연이 그 확장에 관한 것이 아니었다고 강조했다. 단기적으로 정말 시급한 과제는 혁신과 효율을 통해 기존 생산능력을 최대한 잘 활용하는 것이라고 말했다.

메모리가 AI 토큰의 가격을 결정한다

많은 시스템 병목현상은 당분간 바뀌지 않을 것이므로, 최적화의 여지는 주로 메모리 대역폭과 이를 얼마나 효율적으로 쓰느냐에 있다고 디보어는 설명했다. 최근 몇 년간 AI '토크노믹스' 비용 하락을 이끈 주요 동력은 HBM3E에서 곧 등장할 HBM4, HBM4E로 이어지는 HBM 대역폭의 도약이었으며, 이 흐름은 스마트폰과 포스트 스마트폰 세대 기기, 자동차 분야로도 확장된다. 다음 단계는 수직 HBM(Vertical HBM)으로, HBM을 로직 칩 바로 위에 직접 적층해 용량은 작지만 대역폭은 매우 높인다. 대역폭에 극도로 민감한 추론 작업에 적합하지만, 이 기술 역시 하이브리드 본딩의 성숙도에 좌우된다. 메모리를 연산 유닛에 물리적으로 더 가깝게 배치해 저항과 배선 손실을 줄이는 것도 HBM과 로직 사이의 전력 비용을 낮춘다. 광 인터커넥트와 관련해 디보어는 랙 대 랙 연결보다는 HBM과 GPU 간의 칩 대 칩 광 연결에 더 집중하고 있다고 말했는데, 이는 더 어렵고 시간이 더 오래 걸리는 과제라고 인정했다. 심지어 더 많은 HBM, 더 많은 GPU, 더 큰 시스템을 투입하는 '무식하지만 확실한' 패키징 방식도 토큰 비용을 낮춘다. D램 자체도 3D 구조로 나아가고 있는데, 3D 낸드처럼 한 번에 용량이 두 배가 되지는 않겠지만, 향후 10년간의 비트 성장을 뒷받침하기에는 충분할 것이라고 그는 말했다.

마이크론은 유망한 스타트업에 더 일찍 접근하기 위해 AI 중심 벤처펀드 규모도 확대하고 있으며, 8월 말에는 대학, 국립 연구소, 스타트업과 협력해 회사가 지금까지 투자한 어떤 것보다 더 긴 시계를 가진 연구에 10년간 100억 달러를 투입하는 '마이크론 리서치 랩스(Micron Research Labs)' 설립을 발표했다. 디보어는 마이크론의 승부수를 웨이퍼 제조, 장비업체와의 협업, 고객과의 시스템 수준 공동설계로 이어지는 전체 사슬로 요약했다. 생산능력은 결국 따라잡히겠지만, 당면 과제는 이미 갖고 있는 것에서 가능한 모든 것을 끌어내는 일이라고 그는 말했다.

방열은 타이어와 같다. 엔진이 아무리 크고 연료탱크가 가득 차 있어도, 타이어에 바람이 빠져 있으면 차는 움직이지 않는다.

메모리 3강, 같은 진단

디보어의 경고는 고립된 주장이 아니다. 대만 테크 매체 디지타임스(DigiTimes)에 따르면, SEMICON Taiwan 2026의 같은 무대에서 삼성전자와 SK하이닉스 경영진도 마이크론과 함께, 인터포저 기반의 전통적인 2.5D HBM이 성능 한계에 근접하고 있으며 업계가 전송 전력을 줄이고 추가 대역폭을 확보하기 위해 3차원 수직 적층과 웨이퍼 레벨 본딩으로 전환하고 있다는 데 동의했다. 디지타임스는 별도 기사에서 마이크론이 HBM보다 10배 이상 높은 대역폭을 훨씬 낮은 비트당 에너지 소비로 구현할 수 있는 '긴밀결합형 D램(tightly coupled DRAM)' 아키텍처를 검토하고 있다고도 보도했다. 이는 프로세서 성능과 메모리 대역폭 사이의 격차 확대가 마이크론 한 회사만의 주장이 아니라 업계 전체가 AI 연산 확장의 한계 요인으로 받아들이고 있다는 증거다.

AI 연산 능력에 의존하는 한국 기업에는 이것이 무엇을 의미할까. 메모리 '심각한 공급 부족'은 추상적인 경고가 아니라 구매 현장에 직접 반영된다. HBM을 탑재한 AI 서버와 GPU 모듈은 메모리 현물 가격이 빠듯해질 때마다 납기가 길어지고 가격이 오를 수 있다. 국내 클라우드 사업자와 GPU 연산자원을 임대해 쓰는 AI 스타트업, 중소기업 입장에서는 임박해서 물량을 확보하려 하기보다 공급 계약을 미리 확보하고 비용 상승에 대비한 예산 여유를 마련하는 편이 더 현실적이다. 그리고 방열 설계 자체가 시스템의 구조적 병목으로 격상됐다는 것은, 데이터센터와 엣지 AI 장비의 열·전력 계획이 칩 성능 자체만큼이나 중요해졌다는 의미이기도 하다.