Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Zstandard, le nouvel algo de compression de Facebook

Tiens je ne sais pas si vous avez vu, mais Facebook vient de sortir un nouveau algo de compression.

Nommé pompeusement Zstandard ou Zstd (Z comme Zuck ? loool), il serait encore plus performant que Zlib, la référence du moment.

Screenshot 2016-09-07 10.19.08

Il ne compresse pas forcement plus que certain autres algo, mais il est plus rapide que les autres et est conçu pour des scénarios temps réel. D’ailleurs, il est utilisé en prod sur Facebook depuis quelque temps.

Concernant les petits fichiers, l’algo adopte une méthode un peu différente des autres. Quand on compresse un fichier, l’algorithme apprend des données « passées » pour compresser les données « futures ». Mais dans le cas d’un petit fichier, il n’y a pas vraiment de données « passées » sur lesquelles s’appuyer, c’est pourquoi les taux de compression des petits fichiers ne sont pas très intéressants.

Pour contourner cela, Zstd utilise un mode « training » qui grâce à quelques exemples de fichiers, peut générer un dictionnaire de référence qui sera alors chargé avant la compression et la décompression et utilisé comme « données du passé » pour pouvoir compresser des petits fichiers et avoir de bons taux de compression.

Screenshot 2016-09-07 10.35.41

Pas con

Une lib est dispo sous licence BSD pour utiliser cet algo et si vous voulez l’utiliser en vrai sur votre petit PC, les mecs ont même pondu une version de 7zip qui supporte cet algo Zstd pour que vous puissiez mener vos petits tests.

Screenshot 2016-09-07 10.19.19

Tous les détails sur le Zstandard sont ici.


Réponses notables

  1. HPep says:

    Facebook plus performant que …

    “plus rapide que les autres”, d’après le tableau, c’est pas vraiment le cas
    "un dictionnaire de référence", ça veut dire quoi ? qu’il faut attendre un peut avant que le taux de compression soit vraiment efficace ?

    Certe ce n’est pas ‘con’, mais lire un fichier supplémentaire (que l’on doit télécharger ou créer) n’est pas vraiment une idée adéquat, surtout si le fameux dico pèse plusieurs Ko ou Mo (contre-performance)

    C’est bien gentil de vouloir ré-inventer la roue, encore faut t-il éviter de se mettre des bâtons dedans.

Continuer la discussion sur Korben Communauté

3 commentaires supplémentaires dans les réponses

Participants

Installer le shell Bash (Linux) sous Windows 10

L’année dernière, ça ne vous a pas échappé, Bash a fait son apparition sous Windows 10. C’est pour moi, la meilleure chose qui soit arrivée à Windows depuis un moment, car ça permet de lancer des outils Linux et de développer ses propres scripts Shell directement sous Windows. Le pied !

Mais même si c’est parfaitement fonctionnel, il faut quand même…

Lire la suite


Plus de 60 idées pour votre Raspberry Pi

Nous sommes nombreux à nous être procuré un petit ordinateur Raspberry Pi pour nous lancer dans des projets de ouf malade… C’est très cool, mais à part le classique Media Center XBMC, qu’avez-vous fait avec votre Raspberry Pi ?

Si vous séchez niveau idées, voici une petite sélection…

Lire la suite


Une astuce pour rendre Windows 10 plus rapide

Si vous trouvez que Windows 10 est un peu lent, que vos applications ne se lancent pas très vite, que vos compilations prennent du temps, voici une petite astuce débusquée par Brominou pour accélérer le bouzin.

Cliquez dans la zone de recherche de la barre Windows et tapez le mot clé « Performances ». Puis cliquez sur « Régler l’apparence et les performances de Windows » …

Lire la suite


Changer d’adresse IP rapidement

Une petite astuce pour ceux qui ne connaissent pas. Comment changer d’adresse IP à la volée.
Il suffit d’en demander une nouvelle à son provider si celui-ci accepte les IP dynamiques. Pour vérifier que vos manipulation ont eu l’effet escompté, vérifiez quelle est votre adresse IP….

Lire la suite