Entrez vos identifiants

x
OU
Vous avez oublié votre mot de passe ?
Utilisateur wiki : vous n'aviez pas d'email ?

Korben - Site d'actualité geek et tech

Go Top


Un algorithme pour extraire du son à partir d’une information visuelle

Un algorithme pour extraire du son à partir d’une information visuelle

Des chercheurs du MIT ont mis au point un algorithme qui permet à partir d'une image vidéo d'extraire un son en fonction des mouvements infimes de l'objet filmé.

Je m'explique... Par exemple, si je vous mets dans une pièce fermée avec un paquet de chips vide et que vous discutez avec un ami (à la voix qui porte), le son sortant de votre magnifique organe va déplacer l'air et faire vibrer le paquet de chips.

À l'œil nu, on ne verra rien, mais avec une caméra haute vitesse, il est possible de capter ces vibrations infimes puis à partir de celles-ci, de reconstruire une piste audio.

Top pour espionner à distance et entendre ce qui se dit dans une pièce même insonorisée, simplement en filmant de loin une plante ou un emballage présent à l'intérieur de cette pièce. Excellent non ?

Loin de se limiter à ça, les chercheurs ont mis au point un second algorithme pour faire la même chose, mais avec de bonnes vieilles vidéos classiques à 60 fps filmées avec n'importe quelle caméra ou appareil photo du commerce. Le rendu est un peu plus sale, mais ça reste compréhensible. Je sens qu'il y en a qui vont s'amuser à ressortir les archives historiques filmées ou certaines vidéos Youtube et mettre enfin des mots ou de la musique sur tout ça.

Marrant non ? On se croirait presque dans un épisode des Experts !

Source


Facebook Twitter Email Copier Url

27 Responses to “Un algorithme pour extraire du son à partir d’une information visuelle”

  1. Matt el'paillos dit :

    Excellent ! ça me rappelle un vieil article ou on pouvait deviner la pression cardiaque aux vibrations de la tête ^^

    Impressionnant en tout cas.

  2. Fol dit :

    Moui… Cette news me laisse perplexe quand même.

    Dans le principe, ca me semble cohérent, mais on parle bien de micro vibrations d’une surface ? Comment, à partir d’une bête caméra qui filme en 1080p, peut-on détecter des variation d’un pouillième de pixel ?

  3. Toto dit :

    Ca sent le n’importe quoi…

    La déformation du paquet de chip doit être au moins 100 fois inférieur à la définition d’une camera classique. Par exemple, une scène de 4m de large prise en 800×600, ca fait une résolution de 5mm, je ne pense pas que le paquet de chips vibre avec une telle amplitude sous l’effet d’un son ! Sans compter qu’à 60 fps, on serra forcement limité au mieux à 60 htz ! comparé à la plage 20Hz/20kHz, ca fait pas grande chose ;-)

    Donc avec une camera 4k super rapide peut être, mais pas pour le reste.

  4. MaskYs dit :

    Ça me rappelle le film ” L’oeil du mal” où une conversation est retranscrite via les ondulations filmées dans une tasse de café.

  5. TyKayn dit :

    impressionant didonc. et bientôt le logiciel capable de lire sur les lèvres ? pour compléter les archives *-*

  6. Leaskim dit :

    C’est indiqué dans le lien, avec une vidéo standard ils arrivent juste à reconnaître le genre de la personne (homme / femme), et quelques caractéristiques de la voix

  7. Be-manager.fr dit :

    Tout ça pour donner le droit aux paquets de chips notamment, le droit à l’écoute d’une musique décente :)

  8. themadmax dit :

    D’après Shannon, il faut le double de la fréquence 60fps => 30Hz. Mais ils n’utilise pas chaque image pour trouve la fréquence, mais chaque ligne de l’image! Donc si on a 500 lignes @ 60Hz = 30000, ce qui fait une bien meilleur plage 0-15000Hz.

  9. bunam dit :

    Justement je me disais qu’il doit y avoir pléthore de vidéo ou des secrets pourraient être révélés !

  10. markham89 dit :

    pour resumé si au réveil on se rétrouve nez à nez avec un paquet de chips ouvert, il n’y a de forte chance qu’on soit sur écoute.
    ça fonctionne aussi avec les bouteille de bière vide ?
    parcequ’en general elles apparaissent ensemble (0_O!)

  11. moineau dit :

    Pour détecter un mouvement tu n’a pas besoin que l’objet bouge d’un pixel en entier les variations sur les pixels vont être beaucoup + fines que ca.
    Ensuite pour l’utilisation de la caméra 60fps il t’expliquent qu’ils utilisent le rolling shutter qui est le fait que la caméra ne capture pas toute l’image d’un coup mais ligne par ligne de manière continue donc la variation détectée pour chaque ligne correspond a chaque fois a un pouillème de temps + tard. Sur du 800×600 en 60fsp ca fait du coup du 36000 fps de détection (si toutes les lignes sont sujette a détection).

  12. Thibaut Merelle dit :

    Exactement ce à quoi j’ai pensé quand j’ai vu la vidz. La machine, à partir d’une caméra, arrive à capter et à modéliser du son à partir des ondes créées à la surface d’une tasse de café…

    Si leur techno existe vraiment et qu’il ne s’agit pas d’un gros fake, c’est vraiment énorme !

  13. Thibaut Merelle dit :

    La vitre est du double vitrage avec du gaz inerte, qui transmet très mal les vibrations et la chaleur… Tu peux coller ton oreille, tu n’entendra pas grand chose…

  14. vanpact dit :

    Il l’a dit dans la vidéo que la vibration est inférieur au pixel. Il y a plusieurs algorithmes qui permettent de détecter des mouvements avec une précision inférieure au pixel (Lucas-Kanade,…). En plus ça a été publié dans une des plus grosses conférence donc ça a été reviewé plusieurs fois par des personnes compétentes dans le domaine. Pour le problèmes des 60hz, il expliquait que la caméra allait au delà des 5000 Hz pour la première version de l’algorithme donc, c’est suffisant pour que la reconstruction soit intelligible et dans la deuxième version (compatible 60Hz), il explique qu’il utilise le rolling shutter https://en.wikipedia.org/wiki/Rolling_shutter pour augmenter artificiellement la définition temporelle.

  15. CyrilAnge dit :

    Ça doit être le même principe que le faisceau laser sur les vitres. En tout cas c’est fascinant.

  16. 0rigin dit :

    “Les murs ont des oreilles” … comme si ça ne suffisait pas !

  17. homme souris dit :

    Oui avec Mr Verdoux entre autres.

  18. homme souris dit :

    Pas d’atmosphère, pas de bruit.

  19. Toto dit :

    “500 lignes @ 60Hz = 30000”
    Oui, enfin à condition d’avoir une énorme résolution de capture !
    Dans l’exemple que j’ai pris 800×600 @60fps, et donc une résolution de 5mm (pour 4m), tu peux avoir 1 millions de lignes que la mesure sera toujours null ! Puisque la déformation sera tj infime par rapport au 5mm. Même en 4K (3840×2160), donc une résolution de presque 1mm, les 2160 lignes n’y changeront rien, on ne pourra rien entendre… car la déformation de la surface sera tj bien inférieure au mm.

  20. Popol Le Montagnard dit :

    Qui a dit que Mars n’avait pas d’atmosphère ? Le fait qu’elle soit
    irrespirable ne veut pas dire qu’elle est absente ( 95% de CO2)

  21. Leaskim dit :

    Le discours de fin est magnifique en plus d’être culte

  22. Darkness1802 dit :

    HS: WHAT ?! XBMC change de nom ?!
    Quelqu’un a éssayé la version alpha…?

  23. Tschaggatta dit :

    Et maintenant …. “Les paquets de chips ont des oreilles”…

    Oo

  24. adrien75 dit :

    Passionant mais je pe pense que ya que eux qui peuvent faire des choses comme sa on peut pas vraiment reproduire sa chez nous malheureusement

  25. homme souris dit :

    Bon alors atmosphère présente, bruit.

  26. rednaks dit :

    Un petit pas pour l’homme, un grand pas pour la NSA =_=

  27. Hezan dit :

    Evidement que ce n’es pas un fake :). Par contre ça a des limites importantes comme ils le montrent. Les fakes se font rares de nos jours sur le site du MIT ^^

Dolby Audio Challenge – Coder pour le bonheur des oreilles

Capture du 2016-04-28 18:04:55

Si vous êtes développeur web en agence (par exemple) il vous arrive sûrement d'avoir dans votre Slack ou ailleurs des commandes pour des sites qui intègrent du son.

Pause
Wait, je sais le son en arrière plan d'une page web c'est bad really bad, mais là je parle d'autre chose.
End pause

Je veux parler de ces sites commandés à votre boîte par Warner, Universal, Ubisoft, où même toi dev freelance qui veut te faire un portfolio qui claque sa maman et qui ont besoin d'une bande son en arrière plan pour plonger l'internaute dans l'univers du jeu, trailer vidéo ou whatever.

B'hein en règle générale, c'est une mouise sans nom pour avoir un rendu sonore correct.
Pour pallier au problème Dolby a développé une techno qui est censée régler le problème et pour vous en faire la demo, ils vous invitent à la tester en participant à leur code challenge.

En y participant, vous aurez toutes les ressources nécessaires afin d'intégrer le nouveau son multi-dimensionnel (just marketing mais ça à l'air quand même cool) de Dolby. Accédez au hub où les développeurs Dolby animeront des tutoriels et webinars en one-to-one pour implémenter Dolby Digital Plus sur votre site.

A la clé un money pot de 15,000$.

Pour y participer où voir de plus près la techno pour les plus curieux c'est ici

Vous avez aimé cet article ? Alors partagez-le avec vos amis en cliquant sur les boutons ci-dessous :

Twitter Facebook Google Plus Linkedin email
Rejoignez les 56878 korbenautes
et réveillez le bidouilleur qui est en vous
abonnez-vous en savoir plus
"Vous aimez bidouiller ?" Oui j'adore l'informatique et la technologie
Suivez Korben Un jour ça vous sauvera la vie.. Ou celle d'un(e) ami(e)
  • Rejoignez les 56878 bidouilleurs de la grande famille des Korbenautes
    «Je considère que votre email est aussi important que le mien.»
    Korben
  • Les Derniers Articles du Blog

  • Inscrivez vous aux bon plans

  •  
  • Site hébergé par
    Agarik Sponsor Korben
  • DANS TON CHAT (BASHFR)

    Faolin : Putain les gars! J'ai compris l'origine du smyley " :3 " !
    Faolin : :O c====3
    Faolin : :O c====3
    Faolin : :O c====3
    Faolin : :O====3
    Faolin : :O==3
    Faolin : :3 !!!
    Poulika : ...
    Marverik : ...

    -- http://danstonchat.com/12926.html
  • Un boitier externe pour booter des ISO à

    gogo sans se prendre la tête

    Il s'agit d'un boitier externe pour disque dur 2,5" fabriqué par la société Zalman, qui a la particularité d'avoir un petit écran de contrôle et qui permet de choisir l'ISO sur laquelle vous souhaitez booter...lire la suite

    Microsoft récupère vos clés de chiffrement.

    Voici comment les en empêcher

    Si vous avez acheté un appareil sous Windows 10 équipé d'une puce qui chiffre par défaut le disque, ne vous pensez pas en sécurité pour autant : La clé de récupération qui vous permet de déchiffrer vos données...lire la suite

    En ce moment dans l'univers "Raspberry Pi"

    Voir tous les articles »