Privatna umjetna inteligencija u vašem džepu bez interneta

Zanimljiv projekt zajednice programera pokazuje kako umjetna inteligencija može raditi potpuno offline. Programer je izgradio "offline" AI asistenta temeljenog na Raspberry Pi 5 uređaju. Radi isključivo s lokalnom obradom podataka.

Glavni razlog za ovaj pristup je privatnost. Većina modernih AI usluga zahtijeva slanje podataka u oblak, što predstavlja rizik za mnoge korisnike. Lokalno rješenje omogućuje da svi podaci ostanu na uređaju, bez vanjskih poslužitelja.

Sustav koristi optimiziranu verziju jezičnog modela koja je dovoljno lagana za rad na ograničenom hardveru. Model može generirati odgovore brzinom od oko 5 do 10 takozvanih "tokena" u sekundi, s prvim odgovorom koji dolazi za manje od osam sekundi.

Glasovna interakcija također je važan dio sustava. Zvuk snimljen mikrofonom lokalno se pretvara u tekst, a zatim umjetna inteligencija priprema odgovor koji se reproducira putem zvučnika uređaja. Kao što je spomenuto, cijeli proces se odvija bez internetske veze.

Projekt također uključuje osnovnu vizualnu inteligenciju. Pomoću kamere i modela prepoznavanja objekata, uređaj može analizirati svoju okolinu i identificirati objekte u svom vidnom polju.

Korisničko sučelje koristi mali OLED zaslon dimenzija približno 2,4 cm, koji prikazuje odgovore i osnovne informacije o sustavu. Upravljanje se vrši putem fizičkih tipki, što znači da uređaj radi bez tipkovnice ili računalnog zaslona.

Kako bi se održao kontekst, sustav također koristi lokalnu bazu podataka za pohranjivanje informacija i prošlih razgovora. To omogućuje asistentu da uzme u obzir prethodne interakcije i pruži smislenije odgovore.

Projekt je objavljen kao rješenje otvorenog koda, što znači da ga programeri mogu prilagoditi ili nadograditi. Takvi sustavi ukazuju na smjer razvoja umjetne inteligencije, gdje će sve više rješenja raditi izravno na uređaju, bez ovisnosti o uslugama u oblaku.