Canaltech rapporterar om TOPS-mått i AI-chipar

Canaltech rapporterar att begreppet TOPS har blivit en central marknadsflagga för att definiera hur intelligenta eller AI-redo enheter är. Eftersom begreppet har blivit närvarande i specifikationer för nyare hårdvara, har många anmärkt dess närvaro. Enligt källan har begreppen promots av stora aktörer som Intel, AMD, Qualcomm och Nvidia. Mätningen står för Trillions of Operations Per Second och beskrivs som en teoretisk mätning av processorns råprestanda inom maskininlärning. Källan förklarar att siffran representerar triljoner enkla numeriska operationer per sekund, oftast multiplication och akkumulering. Mätningen är dock beroende av dataprecisionen, exempelvis INT8, INT4 eller flyttal som FP16. Tillverkare rapporterar oftast hastigheter baserade på INT8-standarden, som är vanligaste för AI-inferens utan märkbar kvalitetsförlust. I moderna bärbara datorer delas mätningen ofta in på tre delar. Här framträder NPU, en silikonenhet designad för AI-uppgifter med lågt energiförbrukning.

En modern NPU levererar mellan 40 och 50 TOPS för att möjliggöra funktioner som automatisk kamerainramning eller röstisolering. Även iGPU och CPU bidrar med sina egna räkneoperationer. Sammanlagt utgör dessa komponenter vad som kallas "TOPS för plattformen", även om programvara sällan använder alla delar samtidigt. När det gäller rå inferenstkraft står dedikerade grafikkort, eller GPU:er, för dominant position. Inträdes- och medelklasstmodeller av nyare arkitektur överstiger enkelt hundra TOPS, medan toppmodeller överstiger 1 000 TOPS, motsvarande ett Petaflop. Denna skillnad beror på att dedikerade kort har tusentals parallella kärnor och snabbare VRAM-minne, vilket är nödvändigt för tunga lokala språkmodeller eller snabb bildgenerering. Denna kraft kommer med hög energiförbrukning, vilket gör att NPU:er finns för lättare dagliga uppgifter medan dedikerade GPU:er hanterar krävande arbetsuppgifter. I data Center och för superdatorer når mätningen andra proportioner.

Företagschips och dedikerade serveracceleratorer, som NVIDIA RTX Pro-familjen eller AMD Instinct, hanterar petabytes data och distribuerar beräkningar över många anslutna noder. I dessa miljöer krävs ofta höga krav på minnesbandbredd, exempelvis med HBM-minne, och avancerade vätskekylningssystem. Slutligen är det viktigt att förstå att hög teoretisk TOPS inte garanterar snabbare användarupplevelse i praktiken. Den verkliga prestandan beror på programvaruoptimering, drivstöd och främst minnesbandbredden i systemets RAM. Om en kraftfull NPU levererar 50 TOPS men modellen inte får plats i tillgängligt minne eller möter dataflaskhalsar, kommer chippet att spendera mer tid på att väntar information än att bearbeta den. Därför bör TOPS ses som ett teoretiskt tak för kapacitet och inte som en ensam garant för hastighet vid val av ny PC för AI-ändamål.