Microsoft lanceert Maia 300-chip met chiplet-architectuur voor efficiëntere AI-verwerking

Microsoft heeft de Maia 300 geïntroduceerd, een derde generatie chip voor het versnellen van kunstmatige intelligentie die is gebaseerd op een chiplet-architectuur. Deze lancering markeert een significante stap in de ontwikkeling van hardware voor AI-verwerking door het bedrijf.

De nieuwe chip volgt op de Maia 100, die in 2023 werd gelanceerd, en de Maia 200, die begin 2026 op de markt kwam. De Maia 200 wordt momenteel al op productieniveau ingezet voor diverse diensten, waaronder Copilot. De Maia 300 vormt een upgrade ten opzichte van de Maia 200 en levert een aanzienlijke verbetering in prestaties en energie-efficiëntie. Volgens de gegevens produceert de Maia 300 zeven keer meer tokens dan de Maia 200. Daarnaast is de efficiëntie per watt 2,5 keer beter dan die van de voorganger. In vergelijking met het gebruik van grafische verwerkingseenheden is de efficiëntie, gemeten in tokens per megawatt, 40% hoger.

De architectuur van de Maia 200 wordt door Microsoft aangeduid als Software Defined Locally Accessed Dataflow Architecture, afgekort tot SDLA. Deze aanpak is ontstaan uit observaties over het efficiënt verplaatsen van gegevens in moderne AI-systemen. De kern van SDLA ligt in het scheiden van het controlepad van het datapad, waarbij software de taak krijgt om de locatie van gegevens efficiënter te beheren. De Maia 300 ontwikkelt deze architectuur verder om uitdagingen aan te pakken die samenhangen met lange contexten, modellen die sterk gericht zijn op het genereren van oorzakelijke redeneringen en het uitvoeren van modellen die zwaar leunen op decodering.

De Maia 300 maakt gebruik van een chiplet-benadering waarbij meerdere chips met elkaar worden verbonden. Deze chips bevatten geheugen met niet-uniforme geheugentoegang, wat betekent dat het geheugen fysiek dicht bij de verwerkingseenheden is geplaatst om de afstand voor gegevens te minimaliseren. Daarnaast wordt een nieuw gegevensformaat, MXFP4, ingezet. Dit formaat maakt gebruik van lagere precisie, wat resulteert in een kleinere grootte, minder geheugengebruik en minder gegevensverplaatsing. Dit stelt het systeem in staat om grotere modellen met langere contexten uit te voeren. Voor het geheugen wordt gebruikgemaakt van HBM4-geheugen, wat een bandbreedte van 18 terabyte per seconde biedt. Dit is 2,5 keer meer dan de 7,1 terabyte per seconde die HBM3E-geheugen biedt.

Door deze verbeteringen, met name op het gebied van energiebesparing, kunnen er meer Maia-chips in een rek worden geplaatst dan voorheen. Het aantal chips per rek is verdubbeld van 48 naar 96, terwijl het totale vermogen van 167 kilowatt gelijk blijft. Als gevolg hiervan produceert een volledig rek met Maia 300-chips zeven keer meer tokens dan een rek met Maia 200-chips. De efficiëntie per watt is in deze configuratie 2,5 keer beter. De Maia 300 zal naar verwachting in 2027 daadwerkelijk in gebruik worden genomen. Deze informatie is gerapporteerd door Blognone.