Zasebna umetna inteligenca v žepu brez interneta

Uporaba umetne inteligence običajno pomeni stalno povezavo z oblakom, kar odpira vprašanja zasebnosti. Nov projekt pa kaže, da je mogoče zgraditi popolnoma funkcionalnega AI asistenta, ki deluje brez internetne povezave, neposredno na lokalni napravi.
Foto: Naz Louis
Foto: Naz Louis

Zanimiv projekt iz skupnosti razvijalcev prikazuje, kako lahko umetna inteligenca deluje popolnoma brez povezave z internetom. Razvijalec je namreč sestavil »offline« AI asistenta, ki temelji na napravi Raspberry Pi 5. Ta deluje izključno z lokalno obdelavo podatkov.

Glavni razlog za takšen pristop je zasebnost. Večina sodobnih AI storitev zahteva pošiljanje podatkov v oblak, kar za mnoge uporabnike predstavlja tveganje. Lokalna rešitev omogoča, da vsi podatki ostanejo na napravi, brez zunanjih strežnikov.

Sistem uporablja optimizirano različico jezikovnega modela, ki je dovolj lahka, da deluje na omejeni strojni opremi. Model lahko generira odgovore s hitrostjo približno 5 do 10 tako imenovanih »tokenov« na sekundo, pri čemer prvi odziv pride v manj kot osmih sekundah.

Pomemben del sistema je tudi glasovna interakcija. Zvok, zajet prek mikrofona, se lokalno pretvori v besedilo, nato pa AI pripravi odgovor, ki ga naprava predvaja prek zvočnika. Celoten proces pa kot že omenjeno poteka brez internetne povezave.

Projekt vključuje tudi osnovno vizualno inteligenco. S pomočjo kamere in modela za prepoznavanje objektov lahko naprava analizira okolico in prepozna predmete v vidnem polju.

Za uporabniški vmesnik je uporabljen majhen OLED zaslon velikosti približno 2,4 cm, ki prikazuje odgovore in osnovne informacije sistema. Upravljanje poteka prek fizičnih gumbov, kar pomeni, da naprava deluje brez tipkovnice ali zaslona računalnika.

Da bi sistem ohranil kontekst, uporablja tudi lokalno bazo podatkov za shranjevanje informacij in preteklih pogovorov. Tako lahko asistent upošteva prejšnje interakcije in zagotovi bolj smiselne odgovore.

Projekt je objavljen kot odprtokodna rešitev, kar pomeni, da ga lahko razvijalci prilagodijo ali nadgradijo. Takšni sistemi nakazujejo smer razvoja umetne inteligence, kjer bo vse več rešitev delovalo neposredno na napravi, brez odvisnosti od oblačnih storitev.


Vam je bila novica zanimiva?

Povejte prijateljem, da ste novico prebrali na Računalniških novicah.

Share
Prijavi napako v članku
Vas zanima več iz te teme?
Raspberry Pi

Povezave



Kaj berejo drugi?

Partnerji Računalniških novic Prikaži vse

TRACE BS d.o.o.

Opekarniška cesta 5, 2270 Ormož, Tel: 05 905 23 81
V skupini Trace Solutions, katere del sta Trace BS Poslovne rešitve d. o. o. in Trace IS Informacijske rešitve, se ukvarjajo z razvojem, prodajo in uvajanjem istoimenske programske ... Več
Zlati partner

SI SPLET d.o.o.

Ukmarjeva ulica 4, 1000 Ljubljana, Tel: 01 428 94 66
O podjetju Si splet V podjetju Si splet d. o. o. od leta 2001 tržimo varnostne rešitve na področju informacijskih tehnologij. V letu 2003 smo pridobili ekskluzivno partnerstvo ... Več

ETRUST d.o.o.

Arja vas 101, 3301 Petrovče, Tel: 03 710 37 80
Etrust d.o.o. razvija MES sisteme, namenjene planiranju in optimizaciji proizvodnje, ki so povezljive tudi z ERP sistemi, kot je npr. SAP. Več
Zlati partner

ŠPICA INTERNATIONAL d.o.o.

Pot k sejmišču 33, 1231 Ljubljana Črnuče, Tel: 01 568 08 00
Špica International je vodilni slovenski ponudnik informacijskih sistemov in rešitev za obvladovanje časa in prostora. Realnega prostora v realnem času! Njihove rešitve vključujejo ... Več