IA MusicGen - Créez des mélodies uniques avec vos mots

Les playlists, c’est génial. Tu fais un barbecue, t’as une playlist barbecue. Tu fais le ménage, t’as une playlist ménage. Tu codes en Python, t’as une playlist “Python coding”…etc. Mais ce qui serait encore plus cool, ce serait de pouvoir générer des mélodies originales et adaptées à nos envies les plus folles en partant d’une simple idée.

Et bien, mes amis, cela est désormais possible, grâce à un modèle d’intelligence artificielle (IA) appelé MusicGen. MusicGen, mis au point par Meta, génère des samples musicaux de haute qualité à partir de descriptions textuelles, d’un extrait audio, ou de caractéristiques mélodiques, rendant la création musicale aussi simple que de taper quelques mots.

MusicGen est un modèle de langage unique en son genre, qui peut créer de la musique à partir de plusieurs flux d’informations compressées. On peut ainsi lui donner en entrée un texte et un MP3, et on obtiendra un morceau original. Par exemple, un extrait de JS Bach + une description “Je veux un morceau années 80”, et ça donne ça :

Vous pouvez donc décrire une ambiance musicale ou rentrer dans la technique en détaillant le BPM, le type d’instruments, les réglages, la sonorité…etc. et vous obtiendrez un bout de son qui sera quand même pas mal. Comme toutes les IA, plus votre prompt est précis et détaillé, plus vous aurez de bons résultats.

Ce modèle est développé par Felix Kreuk de Meta et si vous êtes un codeur, vous pouvez vous réjouir, car MusicGen est accessible également via l’API de Hugging Face.

MusicGen est un grand pas en avant puisqu’il va permettre à n’importe qui de faire sa petite musique personnelle pour mettre sur sa vidéo de mariage ou de vacances, mais également aider les artistes à avoir un peu de matière (samples) pour construire de nouveaux morceaux ou expériences audio. Je l’utiliserai peut-être dans mes prochains morceaux ^^.

C’est testable directement ici, mais, gardez à l’esprit que le processus de création musicale peut prendre un peu de temps, en fonction du nombre d’utilisateurs. Y’a également un Colab dispo ici et des samples ici.

Mais alors, comment MusicGen a-t-il appris à créer de la musique ?

Et bien le modèle a été entraîné sur plus 20 000 heures de musique sous licence (ça va encore faire grincer des dents ça…) et 390 000 pistes instrumentales provenant de banques de sons comme Shutterstock et Pond5.

Alors, je ne sais pas si ce genre de truc plaira à tous les artistes, mais je pense que les producteurs devraient s’y intéresser pour commencer à maitriser ces IA qui feront les sons de demain.

Pour en savoir plus sur MusicGen et peut-être même l’essayer par vous-même, consultez cet article. Qui sait, peut-être que vous composerez votre prochain grand tube grâce à ce truc.