Audacity se dote de superpouvoirs IA avec OpenVINO

Vous connaissez certainement Audacity, cet éditeur audio gratuit et open source qui nous accompagne fidèlement depuis des années, et bien bonne nouvelle : il vient de recevoir un sacré upgrade grâce à une suite de plugins propulsés par l’intelligence artificielle !

Grâce à ces plugins, vous allez pouvoir séparer automatiquement les instruments d’un morceau de musique, supprimer les bruits parasites avec une précision chirurgicale, générer des compositions originales et même transcrire vos enregistrements vocaux… le tout directement sur votre PC, sans avoir besoin d’une connexion internet ! Cette collection d’extensions s’appuie sur OpenVINO, une technologie d’Intel permettant d’optimiser l’exécution des modèles d’IA sur différents types de processeurs (CPU, GPU et NPU).

La fonction de séparation des pistes est probablement la plus impressionnante. Elle permet de décomposer n’importe quel morceau en quatre éléments distincts : La batterie, la basse, les voix et tous les autres instruments…

Idéal pour créer des versions karaoké, isoler certains instruments pour l’apprentissage musical, ou même remixer vos morceaux préférés. Le tout grâce au modèle Demucs v4 de Meta, spécialement optimisé pour fonctionner localement.

Le module de suppression de bruit utilise quand à lui plusieurs modèles d’IA pour éliminer les parasites indésirables de vos enregistrements : DenseUNet issu de l’Open Model Zoo d’OpenVINO, les modèles DeepFilterNet2 et DeepFilterNet3, spécialement adaptés pour le traitement en temps réel.

Comme ça, finies les prises gâchées par le bruit du ventilateur, les échos de la pièce ou les sons ambiants ! La qualité du résultat est vraiment bluffante, comparable à ce qu’on trouve dans des solutions professionnelles.

Et maintenant si vous avez envie de vous lancer dans la création originale, le plugin de génération musicale exploite les modèles MusicGen-Small et MusicGen-Small-Stereo de Meta pour composer des morceaux à partir de zéro ou prolonger des séquences existantes.

Vous pouvez même générer des compositions en stéréo pour une expérience plus immersive.

Enfin, histoire de compléter cette suite d’outils, le module de transcription basé sur Whisper.cpp permet de convertir automatiquement la parole en texte. Pratique pour sous-titrer des vidéos, créer des transcriptions de réunions ou même traduire des contenus audio dans d’autres langues.

Voilà, la grande force de ces plugins réside surtout dans leur intégration native avec Audacity. Plus besoin de jongler entre différentes applications ou d’uploader vos fichiers sur le cloud, tout se passe localement sur votre machine, ce qui garantit évidemment une confidentialité totale de vos données et un traitement rapide sans dépendre de votre connexion internet.

Pour profiter de ces nouveaux super-pouvoirs, rendez-vous dans la section releases du projet sur GitHub. L’installation est simplifiée pour Windows, avec des packages prêts à l’emploi. Les utilisateurs d’autres systèmes d’exploitation devront patienter un peu ou compiler les plugins eux-mêmes.

Bien sûr, comme toute technologie, ces plugins ont leurs limitations… Ceux-ci nécessitent quand même une machine relativement puissante. Certains modèles peuvent prendre du temps à traiter les fichiers et les résultats peuvent varier selon la qualité du matériau source. Mais ces contraintes sont largement compensées par la gratuité et l’aspect local du traitement.

A tester d’urgence !!

Merci à Lorenper pour cette excellente découverte !

Découvrez les plugins IA pour Audacity sur GitHub