Skip to content
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Scrapy – Un framework dédié au crawl et à l’extraction de données en ligne

Si votre passion dans la vie, c’est de programmer des bots qui vont crawler des sites web pour en extraire le contenu afin d’alimenter vos propres bases données, vous serez surement heureux de découvrir Scrapy ?

Ce framework dédié au parcours de site et à l’extraction de données structurées dans les pages web peut être utilisé dans de nombreuses situations… Par exemple pour faire du monitoring, extraire des liens, ou encore récupérer du contenu éditorial…etc.

Scrapy est léger, facile à comprendre (ça utilise du Xpath et un système de règles), et fonctionne sous Windows, Linux, Mac, BSD…etc (c’est du Python). Voici ce que ça donne par exemple pour extraire les liens des derniers torrents mis en ligne sur Mininova.

class MininovaSpider(CrawlSpider):

    name = 'mininova.org'
    allowed_domains = ['mininova.org']
    start_urls = ['http://www.mininova.org/today']
    rules = [Rule(SgmlLinkExtractor(allow=['/tor/d+']), 'parse_torrent')]

    def parse_torrent(self, response):
        x = HtmlXPathSelector(response)

        torrent = TorrentItem()
        torrent['url'] = response.url
        torrent['name'] = x.select("//h1/text()").extract()
        torrent['description'] = x.select("//div[@id='description']").extract()
        torrent['size'] = x.select("//div[@id='info-left']/p[2]/text()[2]").extract()
        return torrent

Toute la doc et le soft sont disponibles sur le site officiel de Scrapy. Ca promet de longues heures d’amusement en perspective !

Plus de 250 postes dans la tech dans les Côtes d’Armor en Bretagne avec Laou

Vous recherchez un poste de développeur (back, front, fullstack), Devops, dans la cybersécurité ou dans les télécoms ?

Plus de 100 postes sont disponibles dans les Côtes-d’Armor à Lannion. En ce moment plus d’une dizaine d’entreprises recrutent avec Laou des :

  • ingénieur Cloud Storage DevOps (H/F)
  • ingénieur Dev(Sec)Ops Cloud (H/F)
  • Architecte 5G (H/F)
  • Ingénieur(e) Senior Réseaux & Telecom Intégration et Validation (F/H)
  • Cloud Security Assessment Expert
  • Et plus des dizaines d’autres …

Laou est une plateforme spécialisée dans le recrutement IT en région. En plus de vous trouver un job, Laou s’occupe gratuitement de : – Vous trouver votre futur logement – Faciliter votre déménagement – Aider votre conjoint à trouver un job – Vous faire découvrir la ville

Hop c’est par ici ➡️


Les articles du moment