Entrez vos identifiants

x
OU
Vous avez oublié votre mot de passe ?
Utilisateur wiki : vous n'aviez pas d'email ?

Korben - Site d'actualité geek et tech

Go Top

Twitter utilise bittorrent pour ses mises à jour de serveurs

Twitter utilise bittorrent pour ses mises à jour de serveurs

On connait tous Bittorrent et ce qui a fait le succès de ce protocole d'échange est clairement le téléchargement illégal... Mais vous savez aussi que Bittorrent est une techno merveilleuse qui est utilisée pour soulager les serveurs en permettant par exemple la diffusion de distrib Linux (ou autres OS, de jeux...etc), ou encore pour permettre la diffusion à grande échelle de films via VOD...

Mais saviez vous que Bittorrent est de plus en plus utilisé pour mettre à jour d'immenses réseaux de serveurs comme ceux de Facebook ou Twitter ?

Par exemple, chez Twitter, ils ont des centaines de serveurs... Pour mettre à jour tout ça, ils passaient par un serveur principal Git (un équivalent de SVN) sur lequel chaque serveur venait récupérer les fichiers mis à jour... Toute l'opération durait environ 15 minutes.

Trop long !!

Les ingénieurs de Twitter ont donc cherché une solution afin d'accélérer le processus de mise à jour et ils ont crée Murder. Murder est un moyen de distribuer des fichiers à un grand nombre de serveurs en production, en utilisant les principes de base de bittorrent. Le premier peer (client torrent) va chercher les fichiers sur le serveur mère (ici le git) puis dès qu'il en possède un petit morceau, commence à le redistribuer à ses frères, qui font de même et ainsi de suite... Même principe que lorsque vous téléchargez un film en fait.

Ainsi, on passe à un déploiement qui prenait 15 minutes, à un déploiement qui ne prend plus que 12 secondes ! Oui ! 12 secondes, soit 75 fois plus rapide qu'avant.

Murder utilise la librairie Bittornado (sous licence ouverte Apache) et est dispo en téléchargement sur Github. Si vous êtes dans un environnement où les mises à jours sont complexes et prennent du temps, l'option bittorrent est peut être une solution à étudier pour vous soulager la vie.

Voici pour finir, la petite vidéo de Larry Gadea (Twitter), qui vous expliquera tout ça plus en détails...

[Source et photo]

Facebook Twitter Email Copier Url

36 Responses to “Twitter utilise bittorrent pour ses mises à jour de serveurs”

  1. Intéressant ce petit court sur le Bittorent ! Merci

  2. Félix GG dit :

    Ingénieux! Mais ça ne changera tout de même pas grand chose à la fail whale qu’on voit assez souvent, vu que le problème reste avant tout le très grand trafic…

  3. lemulot dit :

    Je trouve l’idee excellente !
    En plus sa redonne un peu de credit au protocol (alors Hadopi, Bt c’est mal ? ;) )
    Par contre je me demande comment est initie le peer pour que ce soit automatique (?)

  4. Pour compléter ton information, Facebook utilise également le protocole BitTorrent pour véhiculer ses mises à jours (comme tu le dis brièvement dans ta news). Clubic a écrit un article (+vidéo d’une conf) traitant du sujet : Facebook utilise BitTorrent, et c’est légal ! ;)

  5. Cyberbob dit :

    heu 40 minutes ca fait 2400 secondes, c’est plutôt un déploiement en 15 minutes non ? :)
    Mais en tous cas c’est bien plus avantageux c’est clair !

  6. Korben dit :

    @Cyberbob: exact, j’ai corrigé. Merci

  7. Olivier dit :

    Quand albanul va voir ça, elle va vite envoyer un courrier “hadopi” à twitter et facebook. Faut leur couper leur connexion à ces deux délinquants !

  8. Jedicien dit :

    Vu la présentation ça parait presque évident maintenant…

  9. achikochi dit :

    bittorent qui permet de déployer et maj ses serveurs jusqu’à 75 fois plus vite, chapeau à murder.

  10. Tristan dit :

    Pas mal !

  11. Alatar dit :

    C’est nul ça ne fonctionne pas chez moi.
    Pourtant mon PC est normal : j’utilise windows vista, et je me protège contre les virus en utilisant norton et le logiciel de sécurisation antipiratage d’Orange.

  12. snes-nostageek dit :

    Ouaip ! Et la tv néerlandaise veux tester cette méthode pour diffuser la tv de rattrapage :
    http://www.pcinpact.com/actu/news/57987-npo-chaine-television-pays-bas-bittorrent.htm

  13. mikymike dit :

    J’aime ce style d’information, c’est toujours intéressant de voir ce qu’utilise les industries

  14. PSP dit :

    Hé bah, gagner 75 fois plus de vitesse pour un transfert, chapeau bas !

  15. somonflex dit :

    Et je suis l’un des rares a encore utilisé le P2P pour ses vertus… :fou:

  16. odin dit :

    “Ingénieux! Mais ça ne changera tout de même pas grand chose à la fail whale qu’on voit assez souvent, vu que le problème reste avant tout le très grand trafic…”

    ouai … et pourquoi pas un web basé sur du p2P distribué : a vos marques : html5 se rapproche de ca avec les websockets, et la mise en mémoire … un petit framework javascript avec du websocket pour avoir du web p2p … c’est pour dans pas longtemp, et dans moins que ca …

    qui veut encore une bonne idée ? qui veut marquer de son code l’histoire de l’humanité …

    allez les geeks,

    ( et ca serait pas mal de penser à l’anonymat en reprenant les idées de freenet, ou i2p )

  17. Opie dit :

    Il me semble que valve utilise ce système aussi, pour distribuer ses jeux et mises a jours via leur plateforme de téléchargement Steam.

  18. Le principe d’origine des torrents est une idée géniale pour toutes les entreprises qui ont besoins de mettre à jour ou synchroniser des informations en utilisant la puissance de plusieurs serveurs en réseau.

    Le p2p d’emule et e-donkey a l’origine pouvait aussi fonctionner comme ça, mais comme le piratage est aussi utilisé via ces systemes, le gouvernement sarkadopiste ne cherche pas à comprendre l’interet des technologies et préfere tout bloquer pour une minorité (maison de disque, etc..)

    C’est dommage ! Heureusement que des entreprises comme twitter nous démontrent qu’ils ont tord :-)

  19. odin dit :

    @Cyber Nettic : faux.

    “le gouvernement sarkadopiste ne cherche pas à comprendre l’interet des technologies”

    faux

    ce que cherche a faire tout gouvernement, et tout élite, ou toute classe supérieur : c’est à garder le pouvoir.

    Mais c’est quoi une société de classé ?

    Et deuxième question : c’est quoi une société qui n’a plus besoin ni du peuple, ni de décideur : ni de rien du tout d’humain pour tourner ?

    L’enfer ? le paradis ?

    “La culture” ?

  20. yyyeeeaaahhh dit :

    Comme quoi Bittornado existe encore, ou tout du moins sert encore à quelque chose ! C’est le seul client Torrent que j’utilise, même s’il n’a pas été mis à jour depuis des lustres

  21. Ame Nomade dit :

    Intéressant et futé.

    Il y a juste une imprécision dans cet article : ce qui a été diminué d’un rapport de 75 est la charge du serveur principal, mais la charge par serveur secondaire, elle, a forcément augmentée (au moins doublée). Par ailleurs, dans ce nouveau mode de fonctionnement on ne peut pas dire que le déploiement prend 75x moins de temps, puisqu’un déploiement est par définition ce qu’il faut faire pour que TOUS les serveurs soient à jour de la nouvelle version ; et ce temps-là n’a peut-être pas diminué, il a même éventuellement augmenté à cause de la désynchronisation cumulée des serveurs secondaires.

    L’intérêt de la méthode réside surtout en l’économie de charge et de bande passante sur le serveur principal.

  22. Nonepse dit :

    “thousands” means “milliers”, not “centaines” ;)

  23. Delfkhyn dit :

    Techniquement vraiment intéressant !

  24. bliz dit :

    la charge du serveur principal est répartie donc forcement les serveur secondaires sont un peut plus sollicité mais ca laisse des possibilités super intéressante :)

  25. ah ouais, je vois !! TPB va revenir

  26. Vonn dit :

    En tous ca chapeau .. ca veut dire qu’un hacker ne mettra plus que 12 sec au lieu de 15 min pour envoyer des saloperies sur tous les serveurs …

    Le progrès … quoi de mieux :)

  27. El Barto dit :

    vonn dans ce cas la reprend ton vieu modem ;) xD

  28. Vonn dit :

    tkt pas je lutte contre tous ca et pas avec mon vieux modem, tous simplement en ne m’inscrivant pas sur ce genre de site ^^ les réseaux sociaux … faut pas grand chose de nos jours pour devenir riche … faut vraiment penser a une grosse conneries mais penser le 1er a ca …. :D

    Sinon a quand que je telecharge mes films a cette vitesse ? =)

  29. Reaper dit :

    j’aimerai bien que steam l’utilise, leur mis à jour sont pennible.

    Il me semble que blizzard utilise du P2P pour les maj de wow non ? j’en ai toujours entendu parlé…

  30. Ikarkias dit :

    Bientôt fini tout ça avec hadopi…

  31. Vonn dit :

    t’imagine pour steam … tu joue puis bammm tu lag car tu dois partager tes jeux :x

    puis y’aurait surement des failles et la gars en profiterais pour te voler ton compte steam, on peut savoir quels film tu a telecharger avec les failles bitorrent alors imagine un simple mot de passe ^^

  32. Benjamin dit :

    Hé hé ! Qui sait où est situé la salle dans l’image du haut du poste ..??
    C’est le Computing Center au CERN ^^ J’y était il y’a 30 min lool

  33. Flo dit :

    C’est beau la technologie

La menace des failles 0-Day

capture-vjhj

"En avril 2014, les chercheurs en sécurité de Google sont tombé sur une vulnérabilité présente à l’intérieur de la bibliothèque cryptographique OpenSSL. Petit problème, OpenSSL est utilisé sur les 2/3 des sites web qui utilisent HTTPS mais aussi par les téléphones Android. Heartbleed était né."

Si comme moi vous êtes un passionné de sécurité informatique et que vous vous demandez qu'est-ce qu'un truc comme Heartbleed peut causer comme dommages, la lecture de cet article sur les failles 0-Day est pour vous...et je vous rassure je ne parle pas du dernier film Blackhat récemment vu au ciné ;)

Lire la suite

Vous avez aimé cet article ? Alors partagez-le avec vos amis en cliquant sur les boutons ci-dessous :

Twitter Facebook Google Plus Linkedin email
Rejoignez les 55229 korbenautes
et réveillez le bidouilleur qui est en vous
abonnez-vous en savoir plus
"Vous aimez bidouiller ?" Oui j'adore l'informatique et la technologie
Suivez Korben Un jour ça vous sauvera la vie.. Ou celle d'un(e) ami(e)
  • Rejoignez les 55227 bidouilleurs de la grande famille des Korbenautes
    «Je considère que votre email est aussi important que le mien.»
    Korben
  •  
  • Site hébergé par
    Agarik Sponsor Korben
  • Univers Populaires

  • Rejoignez les 55227 bidouilleurs de la grande famille des Korbenautes
    «Je considère que votre email est aussi important que le mien.»
    Korben
  • Vidéos

  • DANS TON CHAT (BASHFR)

    Titouwaah : Demain je vais déménager en Australie.
    Dwns : Euh, pourquoi si loin d'un coup?
    Titouwaah : Cette aprem, j'étais au parc avec mon neveu de 3 ans. A coté de moi y'avait un jeune homme assez charmant, avec son pote qui discutait... Mon neveu se ramène pour que je lui donne à boire. Là, il pète (genre "gras") et en rigolant il dit : "Oh t'as entendu tata? C'est comme les tiens" ...

    -- http://danstonchat.com/12292.html
  • Themes

  • Une astuce pour rendre

    Windows 10 plus rapide

    Si vous trouvez que Windows 10 est un peu lent, que vos applications ne se lancent pas très vite, que vos compilations prennent du temps, voici une petite astuce débusquée par Brominou pour accélérer le bouzin. Cliquez dans la zone de recherche de la barre Windows et tapez le mot clé...lire la suite

    Cryptool pour s'initier à la cryptographie

    Alors attention, ce n'est pas nouveau, mais je me suis dit que ce serait intéressant de vous en parler si vous ne connaissez pas encore. Cryptool est un logiciel open source éducatif qui va vous permettre de comprendre les principes de base de la cryptographie. Dans sa version 2, Cryptool intègre...lire la suite

    En ce moment dans l'univers "Windows"

    Voir tous les articles »