Što je AudioCraft, novi AI alat pod Metom?

AudioCraft je program otvorenog koda koji stvara efekte i glazbu iz tekstualnih upita, slično onome što rade AI generatori slika ili videa. AudioCraft ima tri dostupna modela:

• MusicGen za skladanje glazbe
• AudioGen za stvaranje zvučnih efekata
• EnCodec za pomoć pri kompresiji zvuka

MusicGen je prije bio poznat među glazbenim kreatorima i AI hobistima. Ali sada je Meta otkrila kod za ovaj model, koji korisnicima omogućuje da ga obogate vlastitim glazbenim podacima. Razumljivo, odmah su se pojavila etička, ali i pravna pitanja, budući da su glazbeni izdavači većinu umjetničkih djela odmah prijavili kao kršenje intelektualnog vlasništva.

Meta je posebno izjavila da je stvorila samo zadani model temeljen na glazbi u vlasništvu tvrtke i njihovoj licenciranoj glazbi. Konkretno, koristili su 20.000 sati audio zapisa i 400.000 snimaka zajedno s opisima teksta i metapodacima, a sve pod okriljem platformi Meta Music Initiative Sound Collection, Shutterstock i Pond5. Također su uklonili sve vokale prije izdavanja, kako bi spriječili imitaciju glasova kreatora.

Drugi model, AudioGen, posvećen je stvaranju ambijentalnih zvukova i zvučnih efekata. AudioGen je model baziran na difuziji, poput većine modernih generatora slike (DALL-E 2, Stable Diffusion...). U difuziji, model uči kako inkrementalno ukloniti šumove iz početnih podataka koji su u potpunosti šum – kao što su zvuk ili slike – i pomiče ih korak po korak bliže ciljnom upitu.

Osim efekata, AudioGen je također stvoren za generiranje govora, za koji Meta priznaje da bi ga neki mogli zloupotrijebiti za lažiranje glasova. Unatoč zabrinutosti, barem za sada, nisu postavili posebna ograničenja na različite načine korištenja AudioCrafta.

Treći model, EnCodec, poboljšanje je Metinog prethodnog modela za stvaranje glazbe s manje artefakata. Meta tvrdi da učinkovitije modelira audio sekvence i hvata različite razine informacija prilikom uvježbavanja podatkovnih audio valnih oblika za pomoć u stvaranju novog zvuka.

Meta je zamislila AudioCraft kao alat za glazbenike i kreatore koji mogu stvarati nove skladbe bez potrebe za fizičkim sviranjem instrumenata. Također su ciljali na programere s ograničenijim budžetom, koji bi mogli koristiti AudioCraft za stvaranje različitih zvukova za virtualne svjetove, a kreatori Instagrama/TikToka, na primjer, mogli bi stvoriti najprikladnije zvukove za svoje objave.

AudioCraftova licenca barem za sada ne dopušta komercijalnu upotrebu.

Kako instalirati i testirati AudioCraft AI alat?

Koda se nahaja na Githubu, za namestitev pa imate več možnosti. Uporabite lahko program Pinokio (https://pinokio.computer), ki vam bo bolj ali manj samodejno namestil AI glasbeno orodje. V njihovi knjižnici morate izbrati modul AudioGradio, ga namestiti (traja nekaj minut) in na koncu boste dobili lokalni IP, s katerim boste lahko preizkusili AudioCraft.

Drugi načini zahtevajo prednameščen Python, Pip, Anacondo, minicondo ali podobne programe. Dober in enostavno razumljiv vodič je na GitHubu (https://bit.ly/GHglasba) objavil uporabnik mberman84 in velja za program miniconda. Končni rezultat je enak. Dobili boste IP, ki ga vnesete v svoj brskalnik in začnete lahko z eksperimentiranjem.