Quantcast

Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Zstandard, le nouvel algo de compression de Facebook

Tiens je ne sais pas si vous avez vu, mais Facebook vient de sortir un nouveau algo de compression.

Nommé pompeusement Zstandard ou Zstd (Z comme Zuck ? loool), il serait encore plus performant que Zlib, la référence du moment.

Screenshot 2016-09-07 10.19.08

Il ne compresse pas forcement plus que certain autres algo, mais il est plus rapide que les autres et est conçu pour des scénarios temps réel. D’ailleurs, il est utilisé en prod sur Facebook depuis quelque temps.

Concernant les petits fichiers, l’algo adopte une méthode un peu différente des autres. Quand on compresse un fichier, l’algorithme apprend des données « passées » pour compresser les données « futures ». Mais dans le cas d’un petit fichier, il n’y a pas vraiment de données « passées » sur lesquelles s’appuyer, c’est pourquoi les taux de compression des petits fichiers ne sont pas très intéressants.

Pour contourner cela, Zstd utilise un mode « training » qui grâce à quelques exemples de fichiers, peut générer un dictionnaire de référence qui sera alors chargé avant la compression et la décompression et utilisé comme « données du passé » pour pouvoir compresser des petits fichiers et avoir de bons taux de compression.

Screenshot 2016-09-07 10.35.41

Pas con

Une lib est dispo sous licence BSD pour utiliser cet algo et si vous voulez l’utiliser en vrai sur votre petit PC, les mecs ont même pondu une version de 7zip qui supporte cet algo Zstd pour que vous puissiez mener vos petits tests.

Screenshot 2016-09-07 10.19.19

Tous les détails sur le Zstandard sont ici.


80€ offerts pour l’ouverture de votre compte

La Pour vos Cartes VISA Classic et Premier
toujours gratuites

Vous reprenez la main et paramétrez toutes les fonctionnalités de votre carte bancaire :

• Choix du visuel, carte Visa Classic ou Premier ou encore le type de débit différé ou immédiat
Choisissez la carte bancaire qui vous convient

• L’augmentation immédiate des plafonds de votre carte bancaire : Vous souhaitez retirer une somme d’argent importante ? Vous avez besoin d’une capacité de paiement supérieure ? Augmentez les plafonds de votre carte bancaire facilement et instantanément (Réservé aux clients de plus de 3 mois. Sous réserve d’éligibilité) ! Faire face à toutes ses dépenses en quelques clics, ça change la vie !

• La technologie NFC (paiement sans contact) : Payer d’un simple geste, c’est élégant ! Pratique pour les paiements inférieurs à 50 € et c’est surtout vous qui choisissez quand activer ou désactiver ce nouveau service.

• Payez dans des millions d’endroits avec votre smartphone grâce à Apple Pay, Samsung Pay et Google Pay

En savoir plus



Freta – La détection de malwares en mémoire par Microsoft

Microsoft vient de sortir un nouveau joujou qui devrait intéresser tous ceux qui se passionnent pour le forensics et la détection de malwares.

Il s’agit d’un outil baptisé FRETA en hommage à Marie Curie qui a inventé l’imagerie médicale aux rayons X puisqu’elle est née dans cette rue Freta de Varsovie.

unique photo marie curie couleur

Pour réaliser son travail de détection de malware / rootkits et autres joyeusetés, vous devez uploader une image de la mémoire de la machine au format .vmrs, .lime, .core, ou .raw afin que celle-ci puisse être analysée.

Ensuite, vous pourrez parcourir la liste des modules du noyau, les fichiers chargés en mémoire, les processus, mais surtout les rootkits potentiels sur votre pauvre petite machine. Et il y a même une option d’export de données en JSON pour ceux qui veulent.

L’intérêt de Freta est combattre les développeurs de malwares qui ne laissent aucune trace sur les machines, mais se placent uniquement en mémoire pour sortir de la donnée de manière furtive.

Si cela vous intéresse, il vous faudra un compte Microsoft pour accéder au service FRETA.

La documentation est ici.


80€ offerts pour l’ouverture de votre compte

La Pour vos Cartes VISA Classic et Premier
toujours gratuites

Vous reprenez la main et paramétrez toutes les fonctionnalités de votre carte bancaire :

• Choix du visuel, carte Visa Classic ou Premier ou encore le type de débit différé ou immédiat
Choisissez la carte bancaire qui vous convient

• L’augmentation immédiate des plafonds de votre carte bancaire : Vous souhaitez retirer une somme d’argent importante ? Vous avez besoin d’une capacité de paiement supérieure ? Augmentez les plafonds de votre carte bancaire facilement et instantanément (Réservé aux clients de plus de 3 mois. Sous réserve d’éligibilité) ! Faire face à toutes ses dépenses en quelques clics, ça change la vie !

• La technologie NFC (paiement sans contact) : Payer d’un simple geste, c’est élégant ! Pratique pour les paiements inférieurs à 50 € et c’est surtout vous qui choisissez quand activer ou désactiver ce nouveau service.

• Payez dans des millions d’endroits avec votre smartphone grâce à Apple Pay, Samsung Pay et Google Pay

En savoir plus


Réponses notables

  1. Avatar for HPep HPep says:

    Facebook plus performant que …

    “plus rapide que les autres”, d’après le tableau, c’est pas vraiment le cas
    "un dictionnaire de référence", ça veut dire quoi ? qu’il faut attendre un peut avant que le taux de compression soit vraiment efficace ?

    Certe ce n’est pas ‘con’, mais lire un fichier supplémentaire (que l’on doit télécharger ou créer) n’est pas vraiment une idée adéquat, surtout si le fameux dico pèse plusieurs Ko ou Mo (contre-performance)

    C’est bien gentil de vouloir ré-inventer la roue, encore faut t-il éviter de se mettre des bâtons dedans.

Continuer la discussion sur Korben Communauté

2 commentaires supplémentaires dans les réponses

Participants