Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Le web scrapping facile avec Ferret

Si vous voulez faire un peu de webscrapping, c’est-à-dire extraire de manière automatisée les informations présentes sur une page web, à des fins de test, pour du machine learning, pour faire de la stat ou tout simplement pomper des data, voici Ferret.

Ferret est un outil sous licence MIT qui s’est donné pour but de rendre tout cela très simple, à l’aide de son propre langage déclaratif. Cela permet de se focaliser uniquement sur la donnée à récupérer en faisant abstraction des détails techniques.

Voici un exemple de code :

LET google = DOCUMENT("https://www.google.com/", true)

INPUT(google, 'input[name="q"]', "korben")
CLICK(google, 'input[name="btnK"]')

WAIT_NAVIGATION(google)

LET result = (
    FOR result IN ELEMENTS(google, '.g')
       RETURN {
           title: ELEMENT(result, 'h3 > a'),
           description: ELEMENT(result, '.st'),
           url: ELEMENT(result, 'cite')
       }
)

RETURN (
    FOR page IN result
    FILTER page.title != NONE
    RETURN page
)

Dans cet exemple, Ferret ouvre la page d’accueil de Google, entre un mot dans le champ de recherche, puis clique sur le bouton « Search ».

Le script patiente, le temps que la page se charge, puis lance une itération sur tous les résultats de recherche pour place le titre, l’url et la description dans des variables. Il applique ensuite un filtre pour éliminer les contenus vides avant d’afficher le contenu récupéré.

Le projet en est encore à ses débuts, mais je pense que ce sera intéressant à suivre.



Démarrer la discussion sur Korben Communauté

Installer le shell Bash (Linux) sous Windows 10

L’année dernière, ça ne vous a pas échappé, Bash a fait son apparition sous Windows 10. C’est pour moi, la meilleure chose qui soit arrivée à Windows depuis un moment, car ça permet de lancer des outils Linux et de développer ses propres scripts Shell directement sous Windows. Le pied !

Mais même si c’est parfaitement fonctionnel, il faut quand même…

Lire la suite


Plus de 60 idées pour votre Raspberry Pi

Nous sommes nombreux à nous être procuré un petit ordinateur Raspberry Pi pour nous lancer dans des projets de ouf malade… C’est très cool, mais à part le classique Media Center XBMC, qu’avez-vous fait avec votre Raspberry Pi ?

Si vous séchez niveau idées, voici une petite sélection…

Lire la suite


Une astuce pour rendre Windows 10 plus rapide

Si vous trouvez que Windows 10 est un peu lent, que vos applications ne se lancent pas très vite, que vos compilations prennent du temps, voici une petite astuce débusquée par Brominou pour accélérer le bouzin.

Cliquez dans la zone de recherche de la barre Windows et tapez le mot clé « Performances ». Puis cliquez sur « Régler l’apparence et les performances de Windows » …

Lire la suite


Changer d’adresse IP rapidement

Une petite astuce pour ceux qui ne connaissent pas. Comment changer d’adresse IP à la volée.
Il suffit d’en demander une nouvelle à son provider si celui-ci accepte les IP dynamiques. Pour vérifier que vos manipulation ont eu l’effet escompté, vérifiez quelle est votre adresse IP….

Lire la suite