Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Photon – Un crawler aussi rapide que la lumière

Si vous cherchez un petit crawler de sites rapide et efficace, pourquoi ne pas tester Photon ?

Développé en python comme la majorité des outils de ce genre, Photon est capable d’extraire des pages parcourues, des URLs (dans le scope ou hors scope), des URLs avec paramètres, des données comme les emails, les comptes de réseau sociaux, les buckets Amazon (héhé), les fichiers JavaScript, les PDF, PNG, XML…etc. ainsi que n’importe quelle chaine de caractère correspondant à une regex.

Le secret de sa rapidité ? Un multithread correctement géré qui lui permet de traiter des dizaines voire des centaines de requêtes sans broncher.

Au-delà de ça, Photon offre un mode Ninja lui permettant de rebondir sur des services en ligne tiers capables d’aller requêter à votre place la cible. Cela signifie qu’au lieu de tout requêter depuis votre ordinateur avec votre IP, Photon vous offre 3+1, soit 4 points d’accès ce qui permet de booster encore plus la récupération des données, mais aussi de réduire le risque de déconnexion due à la rapidité d’enchainement des requêtes.

Pour télécharger et apprendre à utiliser Photon, je vous invite à vous rendre sur sa page Github.


Travailler dans un groupe d’aéronautique ?

Découvrez les offres d’emploi et de stages de Safran dans la data, le digital, le logiciel et les systèmes d’information

Machine Learning, technologie 3D, systèmes de communication ou encore robotique, vous serez amenés à travailler sur différents projets innovants dans une entreprise qui vous laissera entièrement libre de proposer vos idées et qui vous accompagnera dans vos projets.

Vous pourrez peut être travailler sur notre projet Cassiopée : il s’agit du service que l’on rend aux compagnies aériennes, sur l’analyse de leurs données de détection et de déviation par rapport aux standards opérationnels, à des fins de sécurité aérienne.

Si vous n’avez pas peur d’être ambitieux venez consulter nos postes ouverts




NordVPN à -68% + 3 mois offert pour le Black Friday !

— Article sponsorisé par NordVPN —

Vous connaissez déjà tous NordVPN, que ce soit via leur sponsoring sur YouTube ou des sites Tech, dont le mien, puisque je vous ai déjà présenté le service plusieurs fois. Leurs offres sont généralement très intéressantes et c’est encore le cas pour célébrer le Black Friday 2020. Non seulement vous bénéficierez d’une remise de 68% sur l’abonnement 2 ans (plus des 2/3 du prix), mais en plus vous recevrez 3 mois gratuits.

Si vous n’avez pas encore de VPN installé sur votre ordinateur ou votre mobile, c’est peut-être le moment de franchir le pas sans avoir à débourser trop.

Nord VPN Offre Black Friday 2020

Pour ceux qui n’auraient pas lu mes autres articles sur le sujet, sachez que NordVPN est l’une des meilleures solutions du marché actuellement. Disposant d’une très grande rapidité (plus de 5500 serveurs dans le monde), d’une grande flexibilité (dispo sur toutes les plateformes desktop et mobiles en français), d’un tarif abordable et d’une grande facilité d’utilisation il est adapté à n’importe quel type de profil.

Que vous ayez besoin d’un VPN pour sécuriser votre surf, contourner une censure ou tout simplement accéder au catalogue Netflix, Amazon Prime, Disney+ & co … il fera le travail. Et surtout il le fera de manière proactive (en évitant au mieux les bans d’adresses IPs des plateformes de streaming) et sécurisée (chiffrement des données, double IP, serveurs P2P, réseau Onion … trop de choses pour tout citer, mais vous pouvez tout consulter sur leur site).

Les fonctionnalités Nord VPN

A noter aussi qu’en ce moment il est possible d’ajouter 2 services supplémentaires à cette offre de base.

Le premier c’est le gestionnaire de mots de passe maison, NordPass, qui vous permet de mémoriser et gérer vos mots de passe de manière sécurisée. Vous économiserez 71% sur le prix habituellement proposé. Le second est un service de cloud sécurisé, NordLocker, et là c’est pas moins de 81% d’économies que vous ferez. Ils font partie du groupe NordSec, une suite sécurité.

Au total pour 3,15 € avec 3 mois gratuits, vous aurez un des meilleurs VPN du marché. C’est l’idéal pour tester NordVPN en conditions réelles et voir s’il vous convient.

Encore merci à NordVPN de supporter korben.info en cette période !


Travailler dans un groupe d’aéronautique ?

Découvrez les offres d’emploi et de stages de Safran dans la data, le digital, le logiciel et les systèmes d’information

Machine Learning, technologie 3D, systèmes de communication ou encore robotique, vous serez amenés à travailler sur différents projets innovants dans une entreprise qui vous laissera entièrement libre de proposer vos idées et qui vous accompagnera dans vos projets.

Vous pourrez peut être travailler sur notre projet Cassiopée : il s’agit du service que l’on rend aux compagnies aériennes, sur l’analyse de leurs données de détection et de déviation par rapport aux standards opérationnels, à des fins de sécurité aérienne.

Si vous n’avez pas peur d’être ambitieux venez consulter nos postes ouverts



Réponses notables

  1. Et à quoi sert un web crawler ? Peut-on me donner des exemples concrets ? Merci.

  2. À récupérer plein d’infos en masse du web, ça peut te servir pour du big data, ou par exemple pour récupérer tout les liens de plusieurs sites/forums connus pour servir à exposer des leaks et regarder régulièrement si tes noms de domaine perso ou d’entreprise y apparaissent si tu fais de la veille sécu.

Continuer la discussion sur Korben Communauté

4 commentaires supplémentaires dans les réponses

Participants