Nova era za umetno inteligenco: Nvidia zagnala strežnike Groq 3 LPX

Podjetje Nvidia je uradno potrdilo, da je njihov namenski pospeševalnik za sklepanje modelov umetne inteligence, poimenovan Groq 3 LPX, dosegel stopnjo polne masovne proizvodnje. Gre za tehnologijo, ki je nastala na podlagi prevzema osebja in licenc podjetja Groq v vrednosti skoraj 18,5 milijarde evrov. Novi pospeševalniki Nvidia Groq 3 LPX so zasnovani tako, da se neposredno vključujejo v obstoječo platformo Nvidia Vera Rubin. Posamezna strežniška omara lahko pri tem sprejme do 256 pospeševalnikov LPX, kar omogoča izjemno gostoto računalniške moči.

Prva stranka v oblaku, ki bo te nove strežniške sisteme uporabila v svoji infrastrukturi, je podjetje Nebius. V okviru svoje tako imenovane »tovarne žetonov« bodo omare LPX nameščali vzporedno s procesorji Nvidia Vera ter grafičnimi pospeševalniki Nvidia Rubin. Ta kombinacija opreme naj bi zagotovila izjemno učinkovitost pri obdelavi najzahtevnejših modelov umetne inteligence. Kljub visokim obljubam o zmogljivosti pa bo v praksi šele treba preveriti, kako se bo celoten sistem obnesel pri dolgotrajnih obremenitvah in ali bo integracija med različnimi tipi čipov potekala brez ozkih grl.

Meritve neodvisne platforme Artificial Analysis so že pokazale navdušujoče rezultate. Pri testiranju modela Google Gemma 4 31B z obsegom konteksta 100K je oprema dosegala hitrost kar 3400 izhodnih žetonov na sekundo. Takšne številke pomenijo precejšen skok v hitrosti odzivanja sistemov AI.

Zanimanje za Nvidijino novo strojno opremo pa izkazujejo tudi v vesoljski industriji. Podjetje SpaceX je razkrilo, da bo njihov naslednji napredni sistem umetne inteligence deloval na procesorjih Nvidia Vera. Ta načrt med drugim vključuje delovanje v okviru bodočih orbitalnih podatkovnih centrov, kar predstavlja povsem nov in precej tvegan tehnološki izziv.