Besplatno poboljšanje performansi umjetne inteligencije: Novi alat otključava potencijal Nvidia grafičkih kartica

Programer s nadimkom Zagitta već je predstavio alat za otključavanje Nvidia grafičkih kartica koji značajno povećava performanse Tensor jezgri za AI zadatke, ali radi samo na Linuxu. Nedavno je programer s nadimkom fizikadufin izdao rješenje u obliku UEFI predupravljački program, koji također donosi podršku za Windows.

Program je napisan u Rustu i radi u posebnom UEFI DXE okruženju prije učitavanja službenog upravljačkog programa. U ovom koraku izvodi nekoliko intervencija u firmwareu, od čišćenja SEC2 i pripreme FWSEC-a do pokretanja GSP-RM-a i konačno pisanja i provjere naredbi. Otključavanje se vrši prepisivanjem registara s USB sticka pri svakom pokretanju. Budući da funkcija Secure Boot mora biti isključena, neke igre sa zaštitom od varanja možda neće raditi.

Verzija 2.1.6 već je testirana i potvrđena za cijelu RTX 3000 seriju. Potvrde korisnika se još uvijek prikupljaju za RTX 2000 i RTX 4000 serije. Vlasnici RTX 2000 kartica prvo moraju pokrenuti skriptu GSP načina rada, a zatim ponovno pokrenuti sustav.

Korisnici prijavljuju značajna povećanja brzine pri radu s AI modelima. Poboljšanja su obično između 50 i 80 posto za FP16 i FP32 opterećenja, a poboljšanja performansi su također primjetna za BF16. Korisnik RTX 4070 Ti Super više je nego udvostručio performanse s alatom: s 57 na gotovo 151 TFLOPS za FP16 i s 57,5 na 127 TFLOPS za BF16. Podrška za GTX 16xx seriju, koja ima odvojene cjelobrojne jezgre, također je u razvoju.