Nvidia neemt Groq 3 LPX-rack in productie met 20 miljard dollar overname

Nvidia heeft maandag bekendgemaakt dat het Groq 3 LPX-rack volledig in productie is genomen. Dit markeert de commerciële doorbraak van technologie die voortkomt uit de grootste overname ooit van het bedrijf. De overname van Groq door Nvidia, afgerond in december vorig jaar, bedroeg 20 miljard Amerikaanse dollar.

De Groq 3 LPX-racks zullen samen met de Vera-centrale verwerkingseenheden en Rubin-grafische verwerkingseenheden worden ingezet op het platform van de nieuwe cloudserviceprovider Nebius. De inzet is gepland voor later dit jaar. Dion Harris, senior directeur bij Nvidia, benadrukte dat de technologie vooral gericht is op het leveren van lage latentie bij inferentie, wat essentieel is voor AI-systemen die snel moeten reageren.

Volgens Harris biedt de technologie cloudbedrijven de mogelijkheid om hogere tarieven te vragen voor diensten waarbij lage latentie cruciaal is. "Dit stelt aanbieders van token-diensten in staat om voor klanten met hoge eisen aan latentie geavanceerde serviceovereenkomsten aan te bieden," aldus Harris. De Groq 3 LPX-rack kan volgens een benchmark van Artificial Analysis tot 3.400 tokens per seconde verwerken.

De Groq-chips zijn uitgerust met 500 MB aan snelle SRAM op de chip zelf, wat geheugenknelpunten moet verminderen. De chips worden geproduceerd door Samsung, terwijl Nvidia’s eigen GPU’s door TSMC worden gefabriceerd. Elke Groq 3 LPX-rack bevat 256 afzonderlijke Groq 3-chips.

Nvidia benadrukt dat lage-latentiechips zoals Groq niet bedoeld zijn als vervanging voor GPU’s, die nog steeds de kern vormen van AI-berekeningen. GPU’s blijven flexibel en kunnen zowel training als inferentie uitvoeren. Groq richt zich specifiek op het decodeerstadium binnen het inferentieproces. Harris zei hierover: "Het gaat er niet om GPU’s te vervangen, maar om voor verschillende onderdelen van de workload de juiste processor te kiezen, met de juiste prijs-prestatieverhouding."

De uitrol van het Vera Rubin-systeem, dat eerder dit jaar in productie ging, verloopt geleidelijk. Nvidia-CEO Jensen Huang voorspelde in maart dat de cumulatieve verkoop van de huidige Blackwell-generatie en het nieuwe Vera Rubin-systeem tegen 2027 een omvang van 1 biljoen Amerikaanse dollar zou bereiken. Huang gaf aan dat een kwart van de capaciteit in datacenters voor programmeertoepassingen zal worden ingericht voor Groq-chips, terwijl de rest volledig op Vera Rubin draait.

ITHome berichtte over deze ontwikkelingen.