¿Qué es AudioCraft, la nueva herramienta de IA de Meta?

AudioCraft es un programa de código abierto que crea efectos y música a partir de indicaciones de texto, similar a lo que hacen los generadores de imágenes o videos de IA. AudioCraft tiene tres modelos disponibles:

• MusicGen para componer música
• AudioGen para crear efectos de sonido
• EnCodec para ayudar con la compresión de audio

MusicGen era conocido anteriormente entre los creadores de música y los aficionados a la inteligencia artificial. Pero ahora Meta ha revelado el código de este modelo, que permite a los usuarios enriquecerlo con sus propios datos musicales. Es comprensible que surgieran inmediatamente cuestiones éticas y legales, ya que los editores de música denunciaron inmediatamente que la mayoría de las obras musicales de IA infringían la propiedad intelectual.

Meta declaró específicamente que solo creó el modelo predeterminado basado en la música propiedad de la empresa y su música con licencia. En concreto, utilizaron 20.000 horas de audio y 400.000 grabaciones junto con descripciones de texto y metadatos, todo ello bajo el paraguas de las plataformas Meta Music Initiative Sound Collection, Shutterstock y Pond5. También eliminaron todas las voces antes del lanzamiento, para evitar la imitación de las voces de los creadores.

El segundo modelo, AudioGen, está dedicado a crear sonidos ambientales y efectos de sonido. AudioGen es un modelo basado en difusión, como la mayoría de los generadores de imágenes modernos (DALL-E 2, Stable Diffusion...). En difusión, el modelo aprende cómo eliminar gradualmente el ruido de los datos iniciales que son completamente ruido, como audio o imágenes, y los acerca paso a paso al mensaje de destino.

Además de los efectos, AudioGen también se creó para generar voz, que Meta admite que algunos podrían utilizar indebidamente para falsificar voces. A pesar de las preocupaciones, al menos por ahora, no han impuesto restricciones específicas sobre las diversas formas en que se puede utilizar AudioCraft.

El tercer modelo, EnCodec, es una mejora del modelo anterior de Meta para crear música con menos artefactos. Meta afirma modelar secuencias de audio de manera más eficiente y capturar diferentes niveles de información al entrenar formas de onda de audio de datos para ayudar a crear audio nuevo.

Meta imaginó AudioCraft como una herramienta para músicos y creadores que pudieran crear nuevas composiciones sin tener que tocar instrumentos físicamente. También se dirigieron a desarrolladores con un presupuesto más limitado, que podrían usar AudioCraft para crear diferentes sonidos para mundos virtuales, y los creadores de Instagram/TikTok, por ejemplo, podrían crear los sonidos más apropiados para sus publicaciones.

Al menos por ahora, la licencia de AudioCraft no permite el uso comercial.

¿Cómo instalar y probar la herramienta AudioCraft AI?

Koda se nahaja na Githubu, za namestitev pa imate več možnosti. Uporabite lahko program Pinokio (https://pinokio.computer), ki vam bo bolj ali manj samodejno namestil AI glasbeno orodje. V njihovi knjižnici morate izbrati modul AudioGradio, ga namestiti (traja nekaj minut) in na koncu boste dobili lokalni IP, s katerim boste lahko preizkusili AudioCraft.

Drugi načini zahtevajo prednameščen Python, Pip, Anacondo, minicondo ali podobne programe. Dober in enostavno razumljiv vodič je na GitHubu (https://bit.ly/GHglasba) objavil uporabnik mberman84 in velja za program miniconda. Končni rezultat je enak. Dobili boste IP, ki ga vnesete v svoj brskalnik in začnete lahko z eksperimentiranjem.