Skip to content
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Photon – Un crawler aussi rapide que la lumière

Si vous cherchez un petit crawler de sites rapide et efficace, pourquoi ne pas tester Photon ?

Développé en python comme la majorité des outils de ce genre, Photon est capable d’extraire des pages parcourues, des URLs (dans le scope ou hors scope), des URLs avec paramètres, des données comme les emails, les comptes de réseau sociaux, les buckets Amazon (héhé), les fichiers JavaScript, les PDF, PNG, XML…etc. ainsi que n’importe quelle chaine de caractère correspondant à une regex.

Le secret de sa rapidité ? Un multithread correctement géré qui lui permet de traiter des dizaines voire des centaines de requêtes sans broncher.

Au-delà de ça, Photon offre un mode Ninja lui permettant de rebondir sur des services en ligne tiers capables d’aller requêter à votre place la cible. Cela signifie qu’au lieu de tout requêter depuis votre ordinateur avec votre IP, Photon vous offre 3+1, soit 4 points d’accès ce qui permet de booster encore plus la récupération des données, mais aussi de réduire le risque de déconnexion due à la rapidité d’enchainement des requêtes.

Pour télécharger et apprendre à utiliser Photon, je vous invite à vous rendre sur sa page Github.


A la recherche d’un job dans le numérique et envie de changer de région et de vie ?

Est-ce que je fais vraiment le boulot que j’aime ? Ma qualité de vie dans cette grosse ville bruyante, polluée, chère … est-elle vraiment la meilleure ? Est-ce que ce village de campagne est le lieu le plus propice pour préparer mes enfants au futur ? Nous sommes nombreux à nous être posé ce genre de questions à un moment ou un autre, moi le premier.

Et bien si vous êtes dans cette situation, que vous avez envie de changer d’air sans pour autant changer de travail, Laou vous accompagne dans toutes les étapes de ce nouveau voyage, pour que vous ayez l’esprit serein jusqu’au moment d’envoyer votre premier mail pro 😉

Découvrir leur service et lancez-vous



Les articles du moment