Aujourd’hui, j’ai quelque chose de super intéressant à vous présenter !!
J’ai découvert cet outil incroyable baptisé Polymath qui utilise du deep learning pour transformer n’importe quelle bibliothèque musicale en une bibliothèque de samples destinée à votre production musicale.
Imaginez, vous avez une tonne de sons que vous avez récupérés à gauche ou à droite, à partir de vidéos YouTube par exemple, histoire un jour de pouvoir vous inspirer de tel ou tel petit bout. Et bien avec Polymath, il n’est plus nécessaire de fouiller dans tout ça et surtout extraire ce qui vous intéresse au format MIDI.
Polymath le fait pour nous en utilisant plusieurs réseaux neuronaux tels que Demucs, sf_segmenter, Crepe, Basic Pitch, pyrubberband et librosa. Il sépare automatiquement les morceaux en pistes (rythmes, basses, etc.), les quantifie au même tempo et grille rythmique, analyse la structure musicale, la tonalité, et d’autres informations (timbre, volume, etc.), et convertit l’audio en MIDI.
Mais avant de vous lancer tête baissée, voici comment installer et utiliser Polymath. Vous devez d’abord vous assurer d’avoir ffmpeg et python installés sur votre système.
Vous pouvez ensuite cloner le dépôt Polymath en utilisant cette commande :
git clone https://github.com/samim23/polymath
Une fois cela fait, installez les dépendances nécessaires avec la commande
cd polymathpip install -r requirements.txt
Si vous rencontrez un problème avec basic-pitch, essayez d’exécuter cette commande :
pip install git+https://github.com/spotify/basic-pitch.git
La plupart des bibliothèques utilisées par Polymath sont compatibles avec les GPU via CUDA, alors consultez ce guide pour configurer TensorFlow avec CUDA si vous voulez.
Ensuite, pour ajouter des chansons à votre bibliothèque Polymath, utilisez simplement les commandes suivantes pour les vidéos YouTube ou les fichiers audio locaux :
python polymath.py -a n6DAqMFe97E
python polymath.py -a /path/to/audiolib/song.wav
Notez que les chansons seront automatiquement analysées une première fois, ce qui peut prendre un certain temps. Mais une fois que les chansons seront dans la base de données, vous pourrez y accéder rapidement.
Vous pourrez ensuite rechercher et quantifier des chansons similaires à un tempo spécifique, et même convertir les fichiers audio traités en MIDI (notez que pour le moment, il y a certaines limitations concernant les percussions). Je vous invite fortement à lire la documentation dispo sur Github pour apprendre à utiliser l’outil. Et y’a même la possibilité de faire tourner ce truc dans Docker. C’est fou !!
Ce qui est génial, c’est que vous pouvez ajuster divers paramètres dans Polymath pour adapter l’outil à vos besoins spécifiques. Que vous soyez un producteur de musique débutant, DJ expérimenté ou développeur spécialisé dans le machine learning audio, vous pourrez personnaliser chaque réglage afin d’extraire parfaitement les sons que vous recherchez.
C’est comme si on avait un assistant virtuel dédié à la création d’échantillons personnalisés à partir d’une bibliothèque musicale. C’est un gain de temps de dingue. Ça va sans aucun doute transformer notre façon de travailler avec la musique.