Skip to content
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Le web scrapping facile avec Ferret

Si vous voulez faire un peu de webscrapping, c’est-à-dire extraire de manière automatisée les informations présentes sur une page web, à des fins de test, pour du machine learning, pour faire de la stat ou tout simplement pomper des data, voici Ferret.

Ferret est un outil sous licence MIT qui s’est donné pour but de rendre tout cela très simple, à l’aide de son propre langage déclaratif. Cela permet de se focaliser uniquement sur la donnée à récupérer en faisant abstraction des détails techniques.

Voici un exemple de code :

LET google = DOCUMENT("https://www.google.com/", true)

INPUT(google, 'input[name="q"]', "korben")
CLICK(google, 'input[name="btnK"]')

WAIT_NAVIGATION(google)

LET result = (
    FOR result IN ELEMENTS(google, '.g')
       RETURN {
           title: ELEMENT(result, 'h3 > a'),
           description: ELEMENT(result, '.st'),
           url: ELEMENT(result, 'cite')
       }
)

RETURN (
    FOR page IN result
    FILTER page.title != NONE
    RETURN page
)

Dans cet exemple, Ferret ouvre la page d’accueil de Google, entre un mot dans le champ de recherche, puis clique sur le bouton « Search ».

Le script patiente, le temps que la page se charge, puis lance une itération sur tous les résultats de recherche pour place le titre, l’url et la description dans des variables. Il applique ensuite un filtre pour éliminer les contenus vides avant d’afficher le contenu récupéré.

Le projet en est encore à ses débuts, mais je pense que ce sera intéressant à suivre.

Plus de 250 postes dans la tech dans les Côtes d’Armor en Bretagne avec Laou

Vous recherchez un poste de développeur (back, front, fullstack), Devops, dans la cybersécurité ou dans les télécoms ?

Plus de 100 postes sont disponibles dans les Côtes-d’Armor à Lannion. En ce moment plus d’une dizaine d’entreprises recrutent avec Laou des :

  • ingénieur Cloud Storage DevOps (H/F)
  • ingénieur Dev(Sec)Ops Cloud (H/F)
  • Architecte 5G (H/F)
  • Ingénieur(e) Senior Réseaux & Telecom Intégration et Validation (F/H)
  • Cloud Security Assessment Expert
  • Et plus des dizaines d’autres …

Laou est une plateforme spécialisée dans le recrutement IT en région. En plus de vous trouver un job, Laou s’occupe gratuitement de : – Vous trouver votre futur logement – Faciliter votre déménagement – Aider votre conjoint à trouver un job – Vous faire découvrir la ville

Hop c’est par ici ➡️


Les articles du moment