Entrez vos identifiants

x
OU
Vous avez oublié votre mot de passe ?
Utilisateur wiki : vous n'aviez pas d'email ?

Korben - Site d'actualité geek et tech

Go Top

Un algorithme pour extraire du son à partir d’une information visuelle

Un algorithme pour extraire du son à partir d’une information visuelle

Des chercheurs du MIT ont mis au point un algorithme qui permet à partir d'une image vidéo d'extraire un son en fonction des mouvements infimes de l'objet filmé.

Je m'explique... Par exemple, si je vous mets dans une pièce fermée avec un paquet de chips vide et que vous discutez avec un ami (à la voix qui porte), le son sortant de votre magnifique organe va déplacer l'air et faire vibrer le paquet de chips.

À l'œil nu, on ne verra rien, mais avec une caméra haute vitesse, il est possible de capter ces vibrations infimes puis à partir de celles-ci, de reconstruire une piste audio.

Top pour espionner à distance et entendre ce qui se dit dans une pièce même insonorisée, simplement en filmant de loin une plante ou un emballage présent à l'intérieur de cette pièce. Excellent non ?

Loin de se limiter à ça, les chercheurs ont mis au point un second algorithme pour faire la même chose, mais avec de bonnes vieilles vidéos classiques à 60 fps filmées avec n'importe quelle caméra ou appareil photo du commerce. Le rendu est un peu plus sale, mais ça reste compréhensible. Je sens qu'il y en a qui vont s'amuser à ressortir les archives historiques filmées ou certaines vidéos Youtube et mettre enfin des mots ou de la musique sur tout ça.

Marrant non ? On se croirait presque dans un épisode des Experts !

Source


Facebook Twitter Email Copier Url

27 Responses to “Un algorithme pour extraire du son à partir d’une information visuelle”

  1. Matt el'paillos dit :

    Excellent ! ça me rappelle un vieil article ou on pouvait deviner la pression cardiaque aux vibrations de la tête ^^

    Impressionnant en tout cas.

  2. Fol dit :

    Moui… Cette news me laisse perplexe quand même.

    Dans le principe, ca me semble cohérent, mais on parle bien de micro vibrations d’une surface ? Comment, à partir d’une bête caméra qui filme en 1080p, peut-on détecter des variation d’un pouillième de pixel ?

  3. Toto dit :

    Ca sent le n’importe quoi…

    La déformation du paquet de chip doit être au moins 100 fois inférieur à la définition d’une camera classique. Par exemple, une scène de 4m de large prise en 800×600, ca fait une résolution de 5mm, je ne pense pas que le paquet de chips vibre avec une telle amplitude sous l’effet d’un son ! Sans compter qu’à 60 fps, on serra forcement limité au mieux à 60 htz ! comparé à la plage 20Hz/20kHz, ca fait pas grande chose ;-)

    Donc avec une camera 4k super rapide peut être, mais pas pour le reste.

  4. Leaskim dit :

    C’est indiqué dans le lien, avec une vidéo standard ils arrivent juste à reconnaître le genre de la personne (homme / femme), et quelques caractéristiques de la voix

  5. themadmax dit :

    D’après Shannon, il faut le double de la fréquence 60fps => 30Hz. Mais ils n’utilise pas chaque image pour trouve la fréquence, mais chaque ligne de l’image! Donc si on a 500 lignes @ 60Hz = 30000, ce qui fait une bien meilleur plage 0-15000Hz.

  6. Toto dit :

    “500 lignes @ 60Hz = 30000”
    Oui, enfin à condition d’avoir une énorme résolution de capture !
    Dans l’exemple que j’ai pris 800×600 @60fps, et donc une résolution de 5mm (pour 4m), tu peux avoir 1 millions de lignes que la mesure sera toujours null ! Puisque la déformation sera tj infime par rapport au 5mm. Même en 4K (3840×2160), donc une résolution de presque 1mm, les 2160 lignes n’y changeront rien, on ne pourra rien entendre… car la déformation de la surface sera tj bien inférieure au mm.

  7. moineau dit :

    Pour détecter un mouvement tu n’a pas besoin que l’objet bouge d’un pixel en entier les variations sur les pixels vont être beaucoup + fines que ca.
    Ensuite pour l’utilisation de la caméra 60fps il t’expliquent qu’ils utilisent le rolling shutter qui est le fait que la caméra ne capture pas toute l’image d’un coup mais ligne par ligne de manière continue donc la variation détectée pour chaque ligne correspond a chaque fois a un pouillème de temps + tard. Sur du 800×600 en 60fsp ca fait du coup du 36000 fps de détection (si toutes les lignes sont sujette a détection).

  8. MaskYs dit :

    Ça me rappelle le film ” L’oeil du mal” où une conversation est retranscrite via les ondulations filmées dans une tasse de café.

  9. Thibaut Merelle dit :

    Exactement ce à quoi j’ai pensé quand j’ai vu la vidz. La machine, à partir d’une caméra, arrive à capter et à modéliser du son à partir des ondes créées à la surface d’une tasse de café…

    Si leur techno existe vraiment et qu’il ne s’agit pas d’un gros fake, c’est vraiment énorme !

  10. Hezan dit :

    Evidement que ce n’es pas un fake :). Par contre ça a des limites importantes comme ils le montrent. Les fakes se font rares de nos jours sur le site du MIT ^^

  11. TyKayn dit :

    impressionant didonc. et bientôt le logiciel capable de lire sur les lèvres ? pour compléter les archives *-*

  12. bunam dit :

    Justement je me disais qu’il doit y avoir pléthore de vidéo ou des secrets pourraient être révélés !

  13. Be-manager.fr dit :

    Tout ça pour donner le droit aux paquets de chips notamment, le droit à l’écoute d’une musique décente :)

  14. markham89 dit :

    pour resumé si au réveil on se rétrouve nez à nez avec un paquet de chips ouvert, il n’y a de forte chance qu’on soit sur écoute.
    ça fonctionne aussi avec les bouteille de bière vide ?
    parcequ’en general elles apparaissent ensemble (0_O!)

  15. Thibaut Merelle dit :

    La vitre est du double vitrage avec du gaz inerte, qui transmet très mal les vibrations et la chaleur… Tu peux coller ton oreille, tu n’entendra pas grand chose…

  16. vanpact dit :

    Il l’a dit dans la vidéo que la vibration est inférieur au pixel. Il y a plusieurs algorithmes qui permettent de détecter des mouvements avec une précision inférieure au pixel (Lucas-Kanade,…). En plus ça a été publié dans une des plus grosses conférence donc ça a été reviewé plusieurs fois par des personnes compétentes dans le domaine. Pour le problèmes des 60hz, il expliquait que la caméra allait au delà des 5000 Hz pour la première version de l’algorithme donc, c’est suffisant pour que la reconstruction soit intelligible et dans la deuxième version (compatible 60Hz), il explique qu’il utilise le rolling shutter https://en.wikipedia.org/wiki/Rolling_shutter pour augmenter artificiellement la définition temporelle.

  17. CyrilAnge dit :

    Ça doit être le même principe que le faisceau laser sur les vitres. En tout cas c’est fascinant.

  18. 0rigin dit :

    “Les murs ont des oreilles” … comme si ça ne suffisait pas !

  19. Tschaggatta dit :

    Et maintenant …. “Les paquets de chips ont des oreilles”…

    Oo

  20. homme souris dit :

    Oui avec Mr Verdoux entre autres.

  21. homme souris dit :

    Pas d’atmosphère, pas de bruit.

  22. Popol Le Montagnard dit :

    Qui a dit que Mars n’avait pas d’atmosphère ? Le fait qu’elle soit
    irrespirable ne veut pas dire qu’elle est absente ( 95% de CO2)

  23. Leaskim dit :

    Le discours de fin est magnifique en plus d’être culte

  24. Darkness1802 dit :

    HS: WHAT ?! XBMC change de nom ?!
    Quelqu’un a éssayé la version alpha…?

  25. adrien75 dit :

    Passionant mais je pe pense que ya que eux qui peuvent faire des choses comme sa on peut pas vraiment reproduire sa chez nous malheureusement

  26. homme souris dit :

    Bon alors atmosphère présente, bruit.

  27. rednaks dit :

    Un petit pas pour l’homme, un grand pas pour la NSA =_=

La menace des failles 0-Day

capture-vjhj

"En avril 2014, les chercheurs en sécurité de Google sont tombé sur une vulnérabilité présente à l’intérieur de la bibliothèque cryptographique OpenSSL. Petit problème, OpenSSL est utilisé sur les 2/3 des sites web qui utilisent HTTPS mais aussi par les téléphones Android. Heartbleed était né."

Si comme moi vous êtes un passionné de sécurité informatique et que vous vous demandez qu'est-ce qu'un truc comme Heartbleed peut causer comme dommages, la lecture de cet article sur les failles 0-Day est pour vous...et je vous rassure je ne parle pas du dernier film Blackhat récemment vu au ciné ;)

Lire la suite

Vous avez aimé cet article ? Alors partagez-le avec vos amis en cliquant sur les boutons ci-dessous :

Twitter Facebook Google Plus Linkedin email
Rejoignez les 55248 korbenautes
et réveillez le bidouilleur qui est en vous
abonnez-vous en savoir plus
"Vous aimez bidouiller ?" Oui j'adore l'informatique et la technologie
Suivez Korben Un jour ça vous sauvera la vie.. Ou celle d'un(e) ami(e)
  • Rejoignez les 55248 bidouilleurs de la grande famille des Korbenautes
    «Je considère que votre email est aussi important que le mien.»
    Korben
  • Univers Populaires

  • Site hébergé par
    Agarik Sponsor Korben
  • Vidéos

  • DANS TON CHAT (BASHFR)

    Kanzen : Chuis trop bien avec toi, c'est comme pisser après s'être retenu grave longtemps tu sais genre ça fait trop du bien
    Kanzen : Euh... c'était un compliment ^_^'
    Kanzen : t'es là ?

    -- http://danstonchat.com/4879.html
  • Une astuce pour rendre

    Windows 10 plus rapide

    Si vous trouvez que Windows 10 est un peu lent, que vos applications ne se lancent pas très vite, que vos compilations prennent du temps, voici une petite astuce débusquée par Brominou pour accélérer le bouzin. Cliquez dans la zone de recherche de la barre Windows et tapez le mot clé...lire la suite

    Cryptool pour s'initier à la cryptographie

    Alors attention, ce n'est pas nouveau, mais je me suis dit que ce serait intéressant de vous en parler si vous ne connaissez pas encore. Cryptool est un logiciel open source éducatif qui va vous permettre de comprendre les principes de base de la cryptographie. Dans sa version 2, Cryptool intègre...lire la suite

    En ce moment dans l'univers "Windows"

    Voir tous les articles »