Microsoft lanserar Maia 300, tredje generationens AI-accelerator med chiplet-arkitektur

Microsoft har lanserat Maia 300, en tredje generationens accelerator för artificiell intelligens. Maia 300 följer efter Maia 100 som introducerades år 2023 och Maia 200 som lanserades tidigt år 2026. Maia 300 används nu i produktion med flera tjänster, såsom Copilot.

Maia 300 är en uppgradering från Maia 200 och kan generera över 7 gånger fler token jämfört med Maia 200, samtidigt som den är mer energieffektiv. Den presterar 40% bättre i termer av token per megawatt i jämförelse med traditionellt GPU-användande. Microsoft beskriver arkitekturen för Maia 200 som Software Defined Locally Accessed Dataflow Architecture (SDLA), vilket innebär en optimering av datahantering inom moderna AI-system.

Den nya arkitekturen i Maia 300 tar ett steg framåt för att hantera långa kontextstorlekar, modeller som fokuserar på resonemang och avkodningsintensiva uppgifter. Maia 300 använder flera chiplets i en konfiguration med non-uniform memory access (NUMA) för att minimera avståndet mellan data och processorenheterna. Dessutom introduceras ett nytt dataformat, MXFP4, vilket minskar minnesanvändningen och datarörelsen, vilket möjliggör körning av större modeller.

Maia 300 använder HBM4-minne vilket ökar minnesbandbredden till 18 TB/s, en ökning med 2.5 gånger jämfört med HBM3E som har 7.1 TB/s. Dessa förbättringar, särskilt inom energieffektivitet, innebär att Maia 300 kan rymmas mer kompakt i rack, vilket möjliggör en ökning från 48 till 96 enheter under samma effektförbrukning på 167 kW. Sammanfattningsvis kan Maia 300 producera 7 gånger fler token jämfört med Maia 200 och har en förbättrad effekt per watt med 2.5 gånger.

Rapporterat av Blognone.