Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Photon – Un crawler aussi rapide que la lumière

Si vous cherchez un petit crawler de sites rapide et efficace, pourquoi ne pas tester Photon ?

Développé en python comme la majorité des outils de ce genre, Photon est capable d’extraire des pages parcourues, des URLs (dans le scope ou hors scope), des URLs avec paramètres, des données comme les emails, les comptes de réseau sociaux, les buckets Amazon (héhé), les fichiers JavaScript, les PDF, PNG, XML…etc. ainsi que n’importe quelle chaine de caractère correspondant à une regex.

Le secret de sa rapidité ? Un multithread correctement géré qui lui permet de traiter des dizaines voire des centaines de requêtes sans broncher.

Au-delà de ça, Photon offre un mode Ninja lui permettant de rebondir sur des services en ligne tiers capables d’aller requêter à votre place la cible. Cela signifie qu’au lieu de tout requêter depuis votre ordinateur avec votre IP, Photon vous offre 3+1, soit 4 points d’accès ce qui permet de booster encore plus la récupération des données, mais aussi de réduire le risque de déconnexion due à la rapidité d’enchainement des requêtes.

Pour télécharger et apprendre à utiliser Photon, je vous invite à vous rendre sur sa page Github.


Microsoft Surface Book 2, 13,5″ Argent

Core i5, 8Go de RAM, 256Go, Windows 10 Pro – 22% de réduction

Profitez de 4 fois plus de puissance et de jusqu’à 17 heures1 d’autonomie. Des performances graphiques exceptionnelles désormais disponibles en deux tailles d’écran PixelSense
Le nouveau Surface Book 2 regroupe un ordinateur portable polyvalent, une tablette et un studio portable tout-en-un.

Léger et puissant, Surface Surface Book 2 offre un design innovant avec sa charnière si particulière qui confère à la machine un aspect robuste mais sans sacrifier la mobilité de l’appareil.

En Savoir +



Réponses notables

  1. Et à quoi sert un web crawler ? Peut-on me donner des exemples concrets ? Merci.

  2. En voyant multithread correctement géré puis que sur leur page github ils qualifient leur code de genius, je m’attendais à un truc incroyable avec des coroutines etc mais il me semble que c’est du code multithread assez classique (ce n’est pas un mal du tout, je m’attendais juste à un truc très haut niveau), est-ce que quelqu’un saurait ce qu’il y a de “génial” là-dedans ?

  3. À récupérer plein d’infos en masse du web, ça peut te servir pour du big data, ou par exemple pour récupérer tout les liens de plusieurs sites/forums connus pour servir à exposer des leaks et regarder régulièrement si tes noms de domaine perso ou d’entreprise y apparaissent si tu fais de la veille sécu.

Continuer la discussion sur Korben Communauté

3 commentaires supplémentaires dans les réponses

Participants

6 outils pour cloner un disque dur sous Windows et Linux

Cloner c’est facile… Bon, ok, cloner un bébé, c’est déjà plus complexe mais un disque dur, c’est l’enfance de l’art… Alors bien sûr le logiciel le plus connu pour ça, est Ghost de Symantec mais au prix de 999,99 euros HT (j’déconne, je ne connais pas le prix en vrai), c’est déjà plus rentable de se mettre à cloner son petit frère artisanalement dans le garage …

Lire la suite



Générer du bruit de fond pour polluer les datas récoltées par les boites noires

Si vous voulez surcharger les boites noires utilisées par votre pays afin de tout savoir sur vous et ainsi mieux vous contrôler, voici Noisy.

Ce script python n’a d’autre but que je générer de fausses données sur le réseau afin de pourrir les éventuelles données récoltées sur vous.

Ce bruit de fond est constitué de requêtes DNS / HTTP(S) aléatoires et peut tourner aussi dans un Docker…

Lire la suite



Que faire quand on n’arrive pas à tomber sur le portail captif d’une borne wifi publique ?

Quand on se connecte à un réseau public wifi, il arrive parfois qu’on ait du mal à obtenir le fameux « portail captif »‘ où on nous demande en général notre adresse email, avant de nous laisser librement surfer. En effet, sur certaines bornes wifi, le truc est tellement mal configuré que si vous entrez l’URL de votre moteur de recherche préférée ou de Facebook et bien vous n’obtiendrez rien…

Lire la suite



Comment accélérer l’indexation de la recherche Windows ?

Pour proposer une recherche locale rapide, Windows utilise ce qui s’appelle un « indexeur« . Il s’agit d’un process qui tourne en tâche de fond sur votre ordinateur et qui réalise un index de l’ensemble des fichiers et dossiers présents sur votre disque dur. Pour ne pas consommer trop de ressources, ce service se déclenche uniquement lorsque votre machine n’est pas trop utilisée et à intervalle régulier…

Lire la suite