Novo doba umjetne inteligencije: Nvidia lansira Groq 3 LPX servere

Nvidia je službeno potvrdila da je njezin namjenski akcelerator AI inferencije, nazvan Groq 3 LPX, dosegao punu masovnu proizvodnju. Tehnologija je stvorena akvizicijom Groqovog osoblja i licenci u vrijednosti od gotovo 18,5 milijardi eura. Novi Nvidia Groq 3 LPX akceleratori dizajnirani su za izravno spajanje na postojeću Nvidia Vera Rubin platformu. Jedan serverski rack može primiti do 256 LPX akceleratora, što omogućuje ekstremnu gustoću računalne snage.

Prvi korisnik clouda koji će koristiti ove nove serverske sustave u svojoj infrastrukturi je Nebius. Kao dio svoje takozvane „tvornice čipova“, LPX ormari bit će instalirani paralelno s Nvidia Vera procesorima i Nvidia Rubin grafičkim akceleratorima. Očekuje se da će ova kombinacija opreme pružiti iznimnu učinkovitost pri obradi najzahtjevnijih modela umjetne inteligencije. Unatoč obećanjima visokih performansi, tek treba vidjeti u praksi kako će cijeli sustav funkcionirati pod dugotrajnim opterećenjima i hoće li se integracija između različitih tipova čipova provoditi bez uskih grla.

Mjerenja neovisne platforme za umjetnu analizu već su pokazala impresivne rezultate. Prilikom testiranja modela Google Gemma 4 31B s volumenom konteksta od 100 tisuća, oprema je postigla brzinu od 3400 izlaznih tokena u sekundi. Takve brojke predstavljaju značajan skok u brzini odziva AI sustava.

Svemirska industrija također pokazuje interes za Nvidijin novi hardver. SpaceX je otkrio da će njegov sljedeći napredni sustav umjetne inteligencije raditi na Nvidia Vera procesorima. Ovaj plan uključuje rad unutar budućih orbitalnih podatkovnih centara, što predstavlja potpuno novi i prilično rizičan tehnološki izazov.