Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Photon – Un crawler aussi rapide que la lumière

Si vous cherchez un petit crawler de sites rapide et efficace, pourquoi ne pas tester Photon ?

Développé en python comme la majorité des outils de ce genre, Photon est capable d’extraire des pages parcourues, des URLs (dans le scope ou hors scope), des URLs avec paramètres, des données comme les emails, les comptes de réseau sociaux, les buckets Amazon (héhé), les fichiers JavaScript, les PDF, PNG, XML…etc. ainsi que n’importe quelle chaine de caractère correspondant à une regex.

Le secret de sa rapidité ? Un multithread correctement géré qui lui permet de traiter des dizaines voire des centaines de requêtes sans broncher.

Au-delà de ça, Photon offre un mode Ninja lui permettant de rebondir sur des services en ligne tiers capables d’aller requêter à votre place la cible. Cela signifie qu’au lieu de tout requêter depuis votre ordinateur avec votre IP, Photon vous offre 3+1, soit 4 points d’accès ce qui permet de booster encore plus la récupération des données, mais aussi de réduire le risque de déconnexion due à la rapidité d’enchainement des requêtes.

Pour télécharger et apprendre à utiliser Photon, je vous invite à vous rendre sur sa page Github.


Sécurité et vitesse pour votre connexion internet

Restez à l’abris des regards indiscrets

En règle générale, utiliser un VPN pour se connecter à internet a tendance à ralentir vos débits de connexions, c’est le cas pour afficher une simple page HTML ou accéder à d’autres catalogues de VOD comme ceux de NETFLIX. Le téléchargement de fichiers ou du flux vidéo en devient parfois saccadé.

Notre VPN vous propose Une bande passante illimitée et une sécurité renforcée avec un cryptage AES 256 et un système anti-empreintes digitales

Restez éfficace et anonyme



Réponses notables

  1. Et à quoi sert un web crawler ? Peut-on me donner des exemples concrets ? Merci.

  2. En voyant multithread correctement géré puis que sur leur page github ils qualifient leur code de genius, je m’attendais à un truc incroyable avec des coroutines etc mais il me semble que c’est du code multithread assez classique (ce n’est pas un mal du tout, je m’attendais juste à un truc très haut niveau), est-ce que quelqu’un saurait ce qu’il y a de “génial” là-dedans ?

  3. À récupérer plein d’infos en masse du web, ça peut te servir pour du big data, ou par exemple pour récupérer tout les liens de plusieurs sites/forums connus pour servir à exposer des leaks et regarder régulièrement si tes noms de domaine perso ou d’entreprise y apparaissent si tu fais de la veille sécu.

Continuer la discussion sur Korben Communauté

3 commentaires supplémentaires dans les réponses

Participants

ASUS ROG Strix G12-FR037T

Une tour surpuissante avec -11% de réduction

Avec son design qui frappe les esprits et ses performances impressionnantes, le ROG Strix G12CM étanche l’inlassable soif de puissance des joueurs. Il intègre un processeur Intel® Core™ i7-8700 de 8e génération overclocké en usine (6 coeurs jusqu’à 4,8 Ghz) ainsi qu’une carte graphique NVIDIA® GeForce® GTX 1060 pour vous offrir une expérience gaming qui ne connaît aucune limite

Processeur Intel Core i7 (8e génération) i7-8700
Disque dur 1To + 256SSD
Mémoire vive 16 Go DDR4 SDRAM
Windows 10 Famille
NVIDIA GeForce GTX 1060
Graveur DVD
Technologie Aura Sync et ses LED RGB

En Savoir +


ControlPC – Contrôler Netflix, VLC, Youtube, Windows Media Player à distance depuis votre smartphone

Si vous regardez des films directement depuis votre ordinateur, bien calé au fond de votre canapé ou de votre lit, quoi de plus désagréable que de devoir vous relever pour mettre en pause ou monter le son ? Il existe bien sûr les claviers et souris sans fil mais c’est encombrant et pas toujours très joli quand ça traine dans le salon. Et les plus organisés auront investi dans une télécommande pour PC.

Lire la suite