Quantcast
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Récupérez le contenu de n’importe quel site avec Web Harvest

Ce matin, je vais vous présent une application un peu hardcore car elle est assez complexe à utiliser mais vraiment unique et magique !

Ça s’appelle Web-Harvest, c’est open source et ça permet en fait d’extraire des informations à partir de pages web de manière automatique.

En gros, ça se connecte sur le site de votre choix et selon le paramètrage que vous lui avez donné, ça peut vous récuperer tout ce que vous voulez sans vous encombrer du html superflu. En effet, lorsque vous voulez parser du contenu à partir de sites, la donnée est souvent noyée au milieu de tout un tas de code html pas terrible à gérer et à nettoyer de manière automatique.

Web-Harvest fonctionne sur le principe suivant : Il récupére le code html des pages que vous avez demandé puis avec un peu de XSL, de Regexp et de XQuery, ressort uniquement la donnée dont vous avez besoin. Je ne vous cache pas que l’idée de la chose, c’est bien d’automatiser du pompage à grande échelle sur des sites web à des fins diverses comme par exemple du benchmark de prix ou de la récupération de contenu multimédia sans API…etc etc

Pour le fun, voici le genre de petit fichier de config à créer. Celui ci récupère une page de photos sur Flickr qui possèdent le tag « Korben »

<?xml version= »1.0″ encoding= »UTF-8″?>

<!–
Expects following initial variables:
tags – tags for saerch on flickr – separated with blanks
num – number of pages with results
–>

<config>
<include path= »functions.xml »/>

<var-def name= »tags » overwrite= »false »>korben</var-def>
<var-def name= »num » overwrite= »false »>1</var-def>

<loop index= »i » item= »url »>
<list>
<var-def name= »imagelinks »>
<call name= »download-multipage-list »>
<call-param name= »pageUrl »><template>http://www.flickr.com/search/?q=${tags}&amp;m=tags</template></call-param>
<call-param name= »nextXPath »>//a[contains(., ‘Next’)]/@hrefs</call-param>
<call-param name= »itemXPath »>//td[@class=’DetailPic’]//img/@src</call-param>
<call-param name= »maxloops »><template>${num}</template></call-param>
</call>
</var-def>
</list>
<body>
<empty>
<file action= »write » path=’flickr/${tags.toString().replaceAll( » « , «  »)}/${i}.jpg’ type= »binary »>
<http url=’${url.toString().replaceFirst(« _m.jpg », « .jpg?v=0 »)}’/>
</file>
</empty>
</body>
</loop>

</config>

Si vous n’avez pas trop mal à la tête, je vous invite à vous pencher dessus, c’est passionnant et c’est en java donc compatible avec toutes les plateformes.

Vous trouverez plus d’infos sur le site de WebHarvest


On fête la rentrée avec NordVPN ! [Bon plan] -68%

-68% 3,3€/mois durant 2 ans

Protection en un clic, fonctionnalité Kill Switch, masquage de votre adresse IP, prise en charge des partages de fichiers en p2p, protection contre les malwares et les pubs, streaming sans interruption, test de fuite DNS et même possibilité de coupler l’outil avec l’anonymat de The Onion Router … sont quelques-unes des autres options disponibles.

À noter que cet été l’outil a passé avec succès l’audit d’une société indépendante (PricewaterhouseCoopers) concernant leur politique de non-conservation de registre d’activité, validant que NordVPN ne conservait pas l’activité de ses utilisateurs sur le web.

De plus une licence NordVPN vous permet de protéger jusqu’à 6 appareils et cela, quelle que soit la plateforme sur laquelle ces derniers tournent (android où iOS, Windows, Linux ou macOS, android TV).

En Savoir +



Un korbenaute trouve son nouveau job via Laou et ça c’est cool

— Article sponsorisé par Laou (mais basé sur des faits réels) —

Salut les amis, vous vous souvenez de mes articles concernant le service Laou ? Et bien j’ai appris récemment qu’au moins un de mes lecteurs (les meilleurs lecteurs du monde à la base donc ils ont un bonus en charisme) a trouvé un nouveau travail grâce à ça. Et ça fait vraiment, mais alors vraiment, plaisir.

Lorsqu’un de mes tutos permet de débloquer une situation ou que je fais découvrir un nouveau site, ça fait zizir et j’ai l’impression d’avoir été utile de manière concrète. Mais si quelqu’un trouve un travail grâce à une de mes infos c’est forcément encore mieux. Parce que l’impact sur la vie de la personne en question est beaucoup plus grand. D’ailleurs, aider les gens à trouver un emploi a toujours été une de mes envies, raison pour laquelle j’ai lancé RemixJobs dès 2010 (longtemps site de référence pour le recrutement web et informatique). Et si ce dernier vient de mourir de sa belle mort, il est possible que je vous réserve l’une ou l’autre surprise sur le sujet bientôt.

Laou recherche d'emploi dans le numérique

Tout ça pour en revenir à Laou. Pour les nouveaux venus je rappelle qu’il s’agit d’une plateforme de recrutement spécialisée dans l’IT en région. Si vous voulez découvrir le travail en province et/ou quitter le stress de la capitale, Laou vous aidera non seulement à trouver un nouvel emploi sur mesure, mais prendra aussi un tas de « soucis » à sa charge : vous trouver un logement, trouver un boulot à votre conjoint, gérer le déménagement, vous faire découvrir votre ville d’adoption … Et cerise sur le gâteau tous les frais sont à la charge de votre futur employeur.

Maintenant la partie la plus cool de l’histoire. Elle concerne Steven, développeur fullstack de 25 ans.

Sans trop entrer dans des détails perso, Steven est originaire du sud de la France et était monté à Paris pour se faire une expérience pro. Il n’y arrive pas vraiment et a un peu de mal à s’y faire un cercle d’amis. Du coup il se dit que Laou pourrait être une option et qu’il va essayer de trouver son boulot rêvé : gameplay developper dans le secteur du jeu vidéo. Sans succès dans un premier temps, car sans expérience c’est tout de suite plus compliqué.

Quitter Paris en 2020 avec Laou

En discutant un peu avec Charlotte, la personne en charge de son dossier, il se rend compte qu’il est plus important pour lui de quitter Paris et d’avoir un cadre de vie adapté que de trouver l’intitulé de boulot exact qu’il recherche. Il est prêt à faire ses classes avant. Et là BAM tout décolle, il reçoit plusieurs propositions dans diverses régions de l’hexagone.

Après plusieurs échanges et un suivi, régulier Laou lui paie une nuit d’hôtel pour lui permettre de rencontrer ce qui sera son futur employeur, be-ys. En plus c’est situé à Clermont-Ferrand #AuvergneRepresent. Juste pour vous situer un peu le dévouement de Laou, le train de Steven est arrivé avec 3 heures de retard à Clermont, et pour s’assurer que tout se passerait bien pour lui, Charlotte était à la gare, de nuit, juste pour l’accueillir. C’est ça le service Laou, du sur mesure et de la flexibilité.

Service Settlesweet

Une fois le contrat signé c’est au tour de Settlesweet de prendre le relais. Settlesweet est le partenaire de Laou pour tout ce qui se touche à la recherche de logement, ce sont eux qui prennent en charge cet aspect de A à Z. Le principe est simple : leur algorithme va analyser une quinzaine de sites d’annonces selon vos critères personnalisés afin de vous trouver le logement le plus adapté à vos envies.

Ensuite, un Home Matcher dédié à votre recherche se chargera de prendre rendez-vous pour les visites et de déposer vos candidatures, le tout en vous tournant les pouces. Settlesweet est entièrement gratuit pour les déménagements dans le cadre d’un nouvel emploi ou d’une mutation. 

Au final il se sera passé quelques mois entre la lecture de mon article et son premier jour de travail. Ce qui est plutôt pas mal, surtout en considérant la pandémie qui a retardé beaucoup de choses. J’espère que Steven lira cet article et qu’il n’hésitera pas à nous partager avec ses mots la manière dont il a vécu tout le processus, ça ferait plaisir !


On fête la rentrée avec NordVPN ! [Bon plan] -68%

-68% 3,3€/mois durant 2 ans

Protection en un clic, fonctionnalité Kill Switch, masquage de votre adresse IP, prise en charge des partages de fichiers en p2p, protection contre les malwares et les pubs, streaming sans interruption, test de fuite DNS et même possibilité de coupler l’outil avec l’anonymat de The Onion Router … sont quelques-unes des autres options disponibles.

À noter que cet été l’outil a passé avec succès l’audit d’une société indépendante (PricewaterhouseCoopers) concernant leur politique de non-conservation de registre d’activité, validant que NordVPN ne conservait pas l’activité de ses utilisateurs sur le web.

De plus une licence NordVPN vous permet de protéger jusqu’à 6 appareils et cela, quelle que soit la plateforme sur laquelle ces derniers tournent (android où iOS, Windows, Linux ou macOS, android TV).

En Savoir +