Programer otključao Appleov M4 čip

Appleovi M4 procesori imaju značajnu računalnu snagu za AI operacije, ali tehnološki div tradicionalno drži svoje komponente pod strogom kontrolom. U praksi to znači da programeri aplikacija mogu koristiti Neural Engine samo za zaključivanje ili pokretanje prethodno obučenih modela, ali ne mogu izravno razvijati i trenirati nove algoritme na njemu od nule.

Istraživač koji se koristi online pseudonimom "0x0SojalSec" objavio je izvorni kod na GitHubu koji detaljno opisuje kako iskoristiti puni potencijal silicija i postići 15,8 TFLOPS-a skrivene računalne snage za potrebe strojnog učenja. Iako taj broj danas nije rekordan, podvig je izvanredan jer je izveden u potpunosti izvan službenog Appleovog razvojnog okruženja.

Budući da sigurnosne postavke tvrtke ne dopuštaju izravnu komunikaciju s neuronskim mehanizmom za tako napredne zadatke, autor projekta morao je pronaći način bez korištenja službenih softverskih alata poput CoreML-a ili Metala, a također se nije mogao osloniti na GPU. Umjesto toga, izgradio je vlastiti međujezik od nule. Ovo prilagođeno softversko rješenje djeluje kao most, omogućujući potpuno povratno širenje pogrešaka i učenje modela transformatora izravno na neuronskom čipu.

Zbog tvornički ograničenog dizajna hardvera, morali su se primijeniti neki izuzetno domišljati trikovi kako bi se održala stabilnost operativnog sustava. Ako se proces zaglavi ili zamrzne tijekom faze intenzivnog učenja, prilagođeni programski jezik koristi posebnu naredbu za ponovno pokretanje procesa. Na taj način sustav osvježava svoje trenutno stanje i nastavlja s obradom podataka bez uzrokovanja rušenja cijele aplikacije.

Značajan izazov u pokretanju tako zahtjevnih opterećenja bila je i brzina rada. Kako bi cijeli proces učenja tekao što glatkije, programer je konfigurirao sustav da sve podatke zapisuje izravno u radnu memoriju sustava. Namjernim izbjegavanjem znatno sporije flash memorije, cijela operacija ostala je izuzetno brza.