Micron: niet de chips maar de koeling remt nu de groei van AI

Scott J. DeBoer, president en chief technology and product officer van Micron Technology, hield op 2 september de keynote "From Silicon Innovation to System Intelligence: Architecting the Next Wave of AI" tijdens het Master Forum van SEMICON Taiwan 2026, in het Nangang Exhibition Center in Taipei. Zijn kernboodschap zette de toon voor de dag: AI groeit nu op het tempo van geheugen. Jarenlange technische vooruitgang heeft meer efficiëntie uit elke bit en meer bandbreedte uit een vaste capaciteit gehaald, aldus DeBoer, maar dat blijft ver achter bij de wereldwijde vraag naar datacentercapaciteit — geheugen zal, zo waarschuwde hij, nog jarenlang "ernstig ondervoorzien" blijven.

Bandbreedte, capaciteit, koeling: de ijzeren driehoek van AI

Om de drie dimensies van een geheugensysteem te beschrijven, greep DeBoer naar een auto-analogie die hij naar eigen zeggen die ochtend zelf had bedacht. Bandbreedte is het motorvermogen: die moet blijven stijgen om de rekenwinst te leveren die men inmiddels vanzelfsprekend vindt. Capaciteit is de brandstoftank: bij weinig bandbreedte heeft een systeem weinig capaciteit nodig, maar naarmate de bandbreedte stijgt, moet de capaciteit in een zichzelf versterkende lus meegroeien. Het derde element, koeling, zijn de banden: hoe groot de motor of hoe vol de tank ook is, een auto met lekke banden komt niet vooruit. Volgens DeBoer is thermisch beheer het afgelopen jaar drastisch veranderd: naarmate partners samen de bandbreedte steeds verder opvoeren, is het afvoeren van warmte uit het systeem juist de factor geworden die uiteindelijk bepaalt hoe snel die bandbreedte werkelijk kan lopen. Alle drie de voorwaarden moeten tegelijk aanwezig zijn — dat is wat "AI die groeit op het tempo van geheugen" werkelijk betekent.

Volgens DeBoer volgt de geheugenversie van de wet van Moore nog altijd een exponentiële curve. In zijn 30 jaar in de sector heeft DRAM 15 procesknopen doorlopen, waarbij groei steeds meer voortkomt uit architecturale vernieuwing dan uit eenvoudige geometrische verkleining — en er staan nog meer van dergelijke sprongen te wachten. De dichtheid van geavanceerde DRAM is inmiddels zo hoog dat er meer dan 1.500 DRAM-condensatoren passen binnen de breedte van een mensenhaar. Vertaald naar een auto: een Porsche uit 1995 met 270 pk, een prijs van 60.000 dollar en een verbruik van 23 miles per gallon zou volgens hetzelfde groeitempo als DRAM vandaag bijna 3 miljoen pk hebben, 5 dollar kosten en 23.000 miles per gallon rijden.

Drie onopgeloste knelpunten in geavanceerde verpakking

• Zijwaartse druk op geavanceerde verpakking: geheugen moet steeds meer data doorsturen naar logica-chips, wat de druk vergroot om binnen een beperkt aantal vierkante millimeters meer in-/uitvoerverbindingen (I/O) te plaatsen. Wafer-op-wafer-bonding, al standaard bij NAND, moet zich uitbreiden naar DRAM — maar maakbaarheid en procescontrole vergen nog aanzienlijk werk.
• De productierijpheid van hybrid bonding — het echte knelpunt: hybrid bonding wordt in de hele sector nog op relatief kleine schaal toegepast; de processen voor die-op-wafer, stapeling, metrologie en de bondfysica moeten allemaal aanzienlijk rijpen voordat betrouwbare bonding bij zeer hoge volumes stabiel haalbaar is. De capaciteit voor grootschalige productie loopt vandaag duidelijk achter.
• Koeling verschuift van bijzaak naar structureel ontwerp: warmteopwekking in moderne logica is ongelijkmatig, waardoor DRAM nu per klant en toepassing op maat ontworpen moet worden, met fysieke koelpaden die rechtstreeks in dies en 3D-stapels zijn ingebouwd om warmte van de onderste logicalaag naar de koelinterface bovenaan af te voeren. DeBoer noemde dit de fundamentele uitdaging voor de bandbreedte-roadmaps van HBM4E, HBM5, HBM5E en verticaal geheugen in de komende vier tot vijf jaar.

In datacenters staat HBM aan de top van de prestatiepiramide, maar het hele systeem leunt op veel meer dan HBM alleen: hoogdichte DDR-geheugenmodules en low-power DRAM-modules spelen nu een grotere, complexere rol bij het in- en uitladen van modellen en het opvangen van de enorme geheugenbehoefte van key-value cache (KV-cache). High-performance NAND-SSD's, vier of vijf jaar geleden door velen nog afgeschreven als een slechte business, zijn onverwacht een grote aanjager van datacentervraag geworden. Aan de rand (edge) hebben robotica- en automotivetoepassingen ook hoge bandbreedte nodig, maar onder heel andere vermogens- en kostenbeperkingen — wat extra druk zet op een DRAM-tekort dat door datacenterbouw al ernstig was. Micron heeft publiekelijk toegezegd de komende tien jaar ongeveer 250 miljard dollar te investeren in de uitbreiding van fabrieken in de Verenigde Staten, Taiwan, Singapore en Japan; maar DeBoer benadrukte dat zijn lezing niet over die uitbreiding ging: de meest urgente taak op korte termijn is meer halen uit de bestaande capaciteit, via innovatie en efficiëntie.

Geheugen bepaalt de prijs van een AI-token

Veel systeemknelpunten zullen voorlopig niet veranderen, legde DeBoer uit, dus ligt de ruimte voor optimalisatie vooral bij de geheugenbandbreedte en de efficiëntie waarmee die wordt benut. Bandbreedtewinsten bij HBM — van HBM3E naar de aankomende HBM4 en HBM4E — waren de afgelopen jaren de belangrijkste drijvende kracht achter dalende AI-"tokenomics"-kosten, een curve die zich ook uitstrekt naar telefoons, post-smartphonetoestellen en automotive. De volgende stap is verticale HBM, waarbij geheugen rechtstreeks bovenop de logica-chip wordt gestapeld voor een veel hogere bandbreedte bij lagere capaciteit, geschikt voor bandbreedtehongerige inferentietaken — al hangt ook deze techniek af van verder rijpende hybrid bonding. Geheugen fysiek dichter bij de rekeneenheid brengen, met minder weerstand en bekabelingsverliezen, verlaagt eveneens de energiekosten tussen HBM en logica. Wat optische interconnectie betreft, zei DeBoer zich minder te richten op rack-naar-rack-verbindingen dan op optische chip-naar-chip-verbindingen tussen HBM en GPU — een lastiger probleem met een langere tijdshorizon. Zelfs "brute kracht"-verpakking — meer HBM, meer GPU's, grotere systemen — verlaagt de tokenkosten. DRAM zelf beweegt ook richting 3D-structuren; anders dan 3D-NAND zal het de capaciteit niet in één keer verdubbelen, maar het zou moeten volstaan om een decennium bitgroei vol te houden.

Micron breidt ook zijn AI-gerichte durfkapitaalfonds uit om eerder in te stappen bij veelbelovende startups, en kondigde eind augustus de Micron Research Labs aan: een toezegging van 10 miljard dollar over tien jaar om samen te werken met universiteiten, nationale laboratoria en startups aan onderzoek met een langere tijdshorizon dan het bedrijf ooit heeft gefinancierd. DeBoer vatte Microns inzet samen als een keten die de hele lijn beslaat — waferfabricage, samenwerking met toeleveranciers van apparatuur, en co-design op systeemniveau met klanten. Capaciteit zal uiteindelijk bijtrekken, zei hij; de directe opgave is om zoveel mogelijk uit het bestaande te halen.

Koeling is als de banden: hoe groot de motor of hoe vol de tank ook is, als de banden leeg zijn komt de auto niet vooruit.

Drie geheugengiganten, dezelfde diagnose

DeBoers waarschuwing staat niet op zichzelf. Volgens de Taiwanese technologiemedia DigiTimes waren op hetzelfde podium van SEMICON Taiwan 2026 ook bestuurders van Samsung Electronics en SK Hynix het met Micron eens dat traditionele, op interposers gebaseerde 2,5D HBM een prestatieplafond nadert, en dat de sector overstapt op verticale 3D-stapeling en bonding op waferniveau om het transmissievermogen te verlagen en meer bandbreedte vrij te maken. In een apart artikel meldde DigiTimes bovendien dat Micron "tightly coupled DRAM"-architecturen onderzoekt die meer dan tien keer de bandbreedte van HBM zouden kunnen leveren bij aanzienlijk minder energieverbruik per bit — een teken dat de groeiende kloof tussen processorprestaties en geheugenbandbreedte sectorbreed, en niet alleen bij Micron, wordt behandeld als de bindende beperking voor hoever AI-rekenkracht kan opschalen.

Wat betekent dit voor Nederlandse bedrijven die afhankelijk zijn van AI-rekencapaciteit — cloudaanbieders, ontwikkelaars van AI-software, startups die GPU-capaciteit huren bij hyperscalers of Europese aanbieders? Een "ernstig ondervoorzien" geheugenmarkt is geen abstracte waarschuwing: die vertaalt zich direct in langere levertijden en hogere prijzen voor met HBM uitgeruste AI-servers en GPU-modules zodra de spotprijzen voor geheugen krapper worden. Vroegtijdig leveringscontracten vastleggen en budgettaire ruimte reserveren voor hogere kosten wordt zo realistischer dan op het laatste moment bestellen. En omdat koeling zelf een structureel knelpunt is geworden, weegt de thermische en elektrische planning van datacenters en edge-AI-hardware inmiddels even zwaar als de chip zelf.