ClapTrap - Intégrez de l'IA à Home Assistant pour vos automatisations sonores

par Korben -

Si vous me suivez sur les réseaux sociaux, ça ne vous aura pas échappé qu’il y a quelques semaines, j’ai rendu visite aux Frères Poulain pour bosser sur un petit projet bien cool qu’il est enfin temps de vous révéler.

Nous vous avons concocté ClapTrap, un add-on Home Assistant qui intègre la détection avancée de sons grâce à l’intelligence artificielle. Le but étant de simplifier votre quotidien en déclenchant des actions… juste en clapant dans vos mains, ou à terme en détectant d’autres bruits comme un chien qui aboie, un micro-onde qui bip, etc.

ClapTrap, c’est quoi ?

ClapTrap est donc un outil open source, entièrement disponible sur GitHub : ClapTrap-HA-Addon sur GitHub

Le principe est simple :

  1. Vous installez l’add-on dans Home Assistant (ou tout autre système compatible, puisque le projet est open source).
  2. Vous y connectez vos différents micros (ESP32, tablettes NS Panel, caméras RTSP, etc.) grâce au protocole ultra réactif VBAN ou au classique RTSP.
  3. ClapTrap analyse les flux audio en temps réel à l’aide d’un modèle d’intelligence artificielle, et renvoie des webhooks (ou tout autre type d’actions) dès qu’il détecte un clap.

Cette détection quasi instantanée permet de déclencher des scénarios et automatisations Home Assistant :

  • Allumer ou éteindre la lumière de la pièce où vous clapez.
  • Démarrer la machine à café quand le micro-onde a fini de chauffer votre tasse (oui, c’est possible, si vous le voulez).
  • Et tout ce que votre imagination vous permettra d’envisager puisque c’est open source et ça peut reconnaitre plein de sons différents !

Comment ça fonctionne ?

1. Des micros en réseau pour capter tous les sons

Les Frères Poulain ont opté pour des petits ESP32 (Atom Echo, NS Panel, etc.) munis d’un micro, programmés pour streamer l’audio via VBAN. Cette solution est rapide, fiable et fonctionne en Wi-Fi. Vous placez un micro dans chaque pièce, et hop, ClapTrap peut localiser la provenance du son et l’analyser.

2. L’add-on ClapTrap sous Home Assistant

De mon côté, j’ai développé la partie logicielle :

  • Un module en Python encapsulé par les Frères Poulain dans un add-on Home Assistant ,
  • Capable de gérer plusieurs sources audio (VBAN, RTSP, voire un micro branché directement sur la machine),
  • Doté d’une interface web pour piloter tout ça : activer/désactiver des micros, ajouter des webhooks, et tester en temps réel si l’IA reconnaît bien le son.

Une fois lancé, ClapTrap écoute en permanence et déclenche un webhook (ou autre) dès qu’il reconnaît le son que vous avez paramétré. Dans la vidéo, on montre par exemple comment éteindre/allumer un plafonnier juste en clapant des mains.

3. Un modèle d’IA qui reconnaît (presque) tout

Le modèle IA embarqué (basé sur YAMNet) est capable de détecter plus de 200 sons distincts ! Applaudissements, voix, aboiements, ronronnements, bips, bruits de pas, etc. Tout est alors personnalisable dans votre config.

  • Envoyez un webhook vers Home Assistant (ou n’importe quel serveur)
  • Lancez un scénario (allumer la lumière, ouvrir/fermer un volet, etc.)
  • Affichez une notification sur votre téléphone…

Vous pouvez laisser libre cours à votre créativité pour faire de votre maison un véritable hub de détection sonore, totalement maîtrisé et respectueux de votre vie privée (toutes les analyses se font en local, chez vous).

L’installation pas à pas

Pour ceux qui veulent se lancer, le tuto est ultra détaillé dans la vidéo et dans le dépôt GitHub :

  • De la programmation du micro ESP32 avec la librairie Audio Tools,
  • Aux tests en direct dans Home Assistant,
  • En passant par la création d’une automatisation (par exemple, éteindre la lumière du bureau en clappant).

Bref, on s’est bien amusés à jouer avec tous les scénarios possibles !


Open Source et Communauté : à vous de jouer !

L’autre point fort de ClapTrap, c’est son aspect communautaire :

  • Tout est open source, donc vous pouvez l’adapter, le forker, l’intégrer dans vos propres projets.
  • On espère que vous serez nombreux à proposer des améliorations (support de nouvelles plateformes, paramétrages audio avancés, intégrations d’IA supplémentaires…).
  • Un simple coup d’œil au dépôt vous donnera l’étendue des possibilités : plus de 200 types de sons reconnus, libre à vous de définir vos scénarios comme vous le souhaitez.

Comme on le montre dans la vidéo, on peut claper dans la cuisine pour allumer la lampe du salon ou déclencher d’autres routines, ou pourquoi pas si vous modifiez un peu le code, reconnaître un coup à la porte pour envoyer une notification instantanée. Les seules limites sont votre créativité… et votre stock de modules ESP32 !

Conclusion

ClapTrap a été un projet plutôt fun à coder, et surtout très pratique pour tous les amoureux de la bidouille, du DIY et de la domotique. J’ai pris beaucoup de plaisir à collaborer avec les Frères Poulain sur ce truc, et on vous invite vivement à essayer, partager, commenter, proposer des idées folles pour la suite.

Bonne bidouille et à très vite pour de nouvelles expérimentations !!