Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Le web scrapping facile avec Ferret

Si vous voulez faire un peu de webscrapping, c’est-à-dire extraire de manière automatisée les informations présentes sur une page web, à des fins de test, pour du machine learning, pour faire de la stat ou tout simplement pomper des data, voici Ferret.

Ferret est un outil sous licence MIT qui s’est donné pour but de rendre tout cela très simple, à l’aide de son propre langage déclaratif. Cela permet de se focaliser uniquement sur la donnée à récupérer en faisant abstraction des détails techniques.

Voici un exemple de code :

LET google = DOCUMENT("https://www.google.com/", true)

INPUT(google, 'input[name="q"]', "korben")
CLICK(google, 'input[name="btnK"]')

WAIT_NAVIGATION(google)

LET result = (
    FOR result IN ELEMENTS(google, '.g')
       RETURN {
           title: ELEMENT(result, 'h3 > a'),
           description: ELEMENT(result, '.st'),
           url: ELEMENT(result, 'cite')
       }
)

RETURN (
    FOR page IN result
    FILTER page.title != NONE
    RETURN page
)

Dans cet exemple, Ferret ouvre la page d’accueil de Google, entre un mot dans le champ de recherche, puis clique sur le bouton « Search ».

Le script patiente, le temps que la page se charge, puis lance une itération sur tous les résultats de recherche pour place le titre, l’url et la description dans des variables. Il applique ensuite un filtre pour éliminer les contenus vides avant d’afficher le contenu récupéré.

Le projet en est encore à ses débuts, mais je pense que ce sera intéressant à suivre.



Démarrer la discussion sur Korben Communauté

ASUS ROG Strix G12-FR037T

Une tour surpuissante avec -11% de réduction

Avec son design qui frappe les esprits et ses performances impressionnantes, le ROG Strix G12CM étanche l’inlassable soif de puissance des joueurs. Il intègre un processeur Intel® Core™ i7-8700 de 8e génération overclocké en usine (6 coeurs jusqu’à 4,8 Ghz) ainsi qu’une carte graphique NVIDIA® GeForce® GTX 1060 pour vous offrir une expérience gaming qui ne connaît aucune limite

Processeur Intel Core i7 (8e génération) i7-8700
Disque dur 1To + 256SSD
Mémoire vive 16 Go DDR4 SDRAM
Windows 10 Famille
NVIDIA GeForce GTX 1060
Graveur DVD
Technologie Aura Sync et ses LED RGB

En Savoir +


ControlPC – Contrôler Netflix, VLC, Youtube, Windows Media Player à distance depuis votre smartphone

Si vous regardez des films directement depuis votre ordinateur, bien calé au fond de votre canapé ou de votre lit, quoi de plus désagréable que de devoir vous relever pour mettre en pause ou monter le son ? Il existe bien sûr les claviers et souris sans fil mais c’est encombrant et pas toujours très joli quand ça traine dans le salon. Et les plus organisés auront investi dans une télécommande pour PC.

Lire la suite