Uno sviluppatore sblocca il chip M4 di Apple.

I processori M4 di Apple possiedono una notevole potenza di calcolo per le operazioni di intelligenza artificiale, ma il colosso tecnologico tradizionalmente mantiene i suoi componenti sotto stretto controllo. In pratica, ciò significa che gli sviluppatori di app possono utilizzare il Neural Engine solo per inferire o eseguire modelli pre-addestrati, ma non possono sviluppare e addestrare direttamente nuovi algoritmi da zero.

Un ricercatore che si fa chiamare online "0x0SojalSec" ha pubblicato su GitHub il codice sorgente che illustra come sfruttare appieno il potenziale del silicio e raggiungere 15,8 TFLOPS di potenza di calcolo nascosta per scopi di apprendimento automatico. Sebbene questo valore non rappresenti un record al momento, l'impresa è notevole perché è stata realizzata interamente al di fuori dell'ambiente di sviluppo ufficiale di Apple.

Poiché le impostazioni di sicurezza dell'azienda non consentono la comunicazione diretta con il motore neurale per attività così avanzate, l'autore del progetto ha dovuto trovare una soluzione senza utilizzare strumenti software ufficiali come CoreML o Metal, e non poteva nemmeno fare affidamento sulla GPU. Ha quindi sviluppato da zero un proprio linguaggio intermedio. Questa soluzione software personalizzata funge da ponte, consentendo la completa retropropagazione degli errori e l'apprendimento dei modelli transformer direttamente sul chip neurale.

A causa delle limitazioni hardware imposte dalla fabbrica, è stato necessario implementare alcuni accorgimenti estremamente ingegnosi per mantenere la stabilità del sistema operativo. Se un processo si blocca o si arresta in modo anomalo durante la fase di apprendimento intensivo, il linguaggio di programmazione personalizzato utilizza uno speciale comando di esecuzione per riavviare il processo. In questo modo, il sistema aggiorna il suo stato attuale e continua a elaborare i dati senza causare il blocco dell'intera applicazione.

Una sfida significativa nella gestione di carichi di lavoro così impegnativi era anche la velocità di funzionamento. Per far sì che l'intero processo di apprendimento si svolgesse nel modo più fluido possibile, lo sviluppatore ha configurato il sistema in modo che scrivesse tutti i dati direttamente nella memoria di lavoro del sistema. Evitando deliberatamente la memoria flash, che è notevolmente più lenta, l'intera operazione è rimasta estremamente veloce.