Microsoft ugrađuje AI asistenta u Windows 11 s novim jezičnim modelom

Prošle godine, Microsoft je predstavio Copilot+ računala s namjenskim NPU-om (Near Field Processing Unit) sposobnim za više od 40 milijardi operacija u sekundi. Ti sustavi uključivali su Phi-Silica, "mali" jezični model za uređaje dizajnirane za poboljšanje razumijevanja jezika u Microsoftovim aplikacijama i softveru trećih strana.

Nedavno je Microsoft predstavio novi jezični model pod nazivom Mu, koji je ugrađen izravno u Windows 11. Mu pokreće novog inteligentnog asistenta u aplikaciji Postavke koji razumije prirodne upite korisnika i integrira ih u traku za pretraživanje radi boljeg korisničkog iskustva. Funkcionalnost je trenutno u beta verziji za Windows Insidere u Developer Channelu na Copilot+ računalima.

Poput jezičnog modela Phi-Silica, Mu je optimiziran za performanse umjetne inteligencije i može generirati preko 100 milijardi operacija u sekundi - lokalno, bez veze s oblakom. Microsoft je otkrio ključne informacije o arhitekturi i učenju Mu modela u objavi na blogu:

• Mu je jezični model s 330 milijuna parametara, temeljen na arhitekturi kodera-dekodera.

• Ova arhitektura omogućuje 47 % nižu latenciju prve instrukcije i 4,7× brže dekodiranje u usporedbi s modelima dekodiranja iste veličine.

• Koristi podjelu zadataka na specifične komponente kako bi se smanjio broj parametara.

• Treniran je na NVIDIA A100 GPU-ima putem platforme Azure Machine Learning.

• Unatoč manjoj veličini, nudi slične performanse kao optimizirani Phi-3.5-mini.

• Najbolje funkcionira za upite s više riječi; leksički i semantički rezultati i dalje se koriste za kraće pojmove.

Zainteresirani korisnici mogu isprobati ovu značajku instaliranjem Windows 11 Build 26120.3964 (KB5058496) ili novije verzije. Uskoro bi mogla postati trajni dio sustava Windows 11.