Un piano virtuel en papier ?

Comme tout le reste, le prix des instruments de musique s’envole. Bien sûr, vous rêvez de jouer du piano mais vous n’avez pas les moyens de vous en payer un. Snif c’est trop triste ! Heureusement, tonton Korben est là, c’est plus la peine de faire les brocantes, puisque j’ai déniché un petit bijou qui devrait vous plaire !

Grâce au projet Paper Piano disponible sur GitHub, vous allez pouvoir vous improviser pianiste avec juste une feuille de papier, un feutre et votre webcam. Si si, je vous jure, c’est possible et en plus c’est fun !

Bon, évidemment, on est loin des sensations d’un vrai piano à queue, faut pas rêver non plus mais le concept est super cool et ça permet de s’initier au piano sans se ruiner. Pour l’instant, le projet ne supporte que 2 doigts maximum (un de chaque main) mais le développeur bosse dur pour améliorer ça et permettre de jouer avec tous les doigts comme un vrai pro.

Alors comment ça marche ce truc ?

En fait c’est plutôt simple, il suffit de cloner le repo GitHub, d’installer les dépendances Python en lançant

pip install -r requirements.txt

dans votre terminal et d’exécuter le script

run.py

Jusque là, rien de bien sorcier pour ceux qui sont un peu à l’aise avec la ligne de commande.

La partie un peu plus délicate, c’est l’installation de la webcam. Vu que le programme va devoir détecter votre doigt et son ombre sur le papier, il faut la positionner au bon endroit, avec le bon angle et à la bonne distance. En gros, il faut qu’elle puisse voir votre doigt et les deux rectangles que vous aurez dessinés au marqueur noir de chaque côté de votre feuille A4. Ça demande un peu de bidouille mais en suivant bien les instructions et en regardant la vidéo démo, vous devriez y arriver !

Un petit tips au passage : pensez à bien éclairer votre zone de jeu. Plus la lumière sera forte, mieux l’ombre de votre doigt sera visible et meilleurs seront les résultats. Évitez quand même d’avoir une lumière directe dans l’objectif de la webcam, ça risquerait de tout faire foirer.

Une fois votre matos en place, vous allez pouvoir passer à la phase d’entraînement du modèle. Pour ça, une fenêtre va s’ouvrir et une boîte va s’afficher autour du bout de votre doigt. Vérifiez bien qu’elle englobe tout le doigt et ses environs proches, sinon réglez à nouveau le positionnement de la caméra.

Ensuite c’est parti pour la séance de muscu des doigts !

Alors un conseil, allez-y mollo sur les mouvements. Pas la peine de vous exciter comme un fou jusqu’à trouer le papier, faites ça doucement en montrant bien tous les angles de votre doigt. Et quand vous appuyez, appuyez normalement, pas besoin d’écraser votre feuille non plus. Idem quand vous relevez le doigt, levez le franchement mais pas trop près du papier non plus. En gros, faites comme si vous jouiez sur un vrai piano.

Le projet utilise un réseau de neurones convolutif (CNN) pour apprendre à distinguer les états “doigt en contact” et “doigt levé”. Et bien sûr, si les résultats ne vous conviennent pas, vous pouvez relancer une session d’entraînement pour affiner le modèle.

L’objectif à terme pour le dev, ce serait d’arriver à transformer ce prototype en un vrai piano fonctionnel sur papier. Vous imaginez un peu le truc ? Ça permettrait à tous ceux qui n’ont pas les moyens de s’acheter un piano d’apprendre à en jouer quand même. La classe non ?

Après comme c’est un projet open-source, y’a pas vraiment de mode d’emploi gravé dans le marbre. Toutes les bonnes idées et les améliorations sont les bienvenues !

Je suis sûr qu’on n’a pas fini d’entendre parler de ce genre d’expériences de Papier Augmenté. Qui sait, bientôt on pourra peut-être transformer une simple feuille en un véritable home-studio ! Vous imaginez, une batterie en papier, une basse en carton, une guitare en origami… Ok je m’emballe un peu là, mais l’avenir nous réserve sûrement encore plein de surprises de ce type.

Sur ce, joyeux bidouillage à tous et à la prochaine pour de nouveaux projets délirants !