Quantcast
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Scrapy – Un framework dédié au crawl et à l’extraction de données en ligne

Si votre passion dans la vie, c’est de programmer des bots qui vont crawler des sites web pour en extraire le contenu afin d’alimenter vos propres bases données, vous serez surement heureux de découvrir Scrapy ?

Ce framework dédié au parcours de site et à l’extraction de données structurées dans les pages web peut être utilisé dans de nombreuses situations… Par exemple pour faire du monitoring, extraire des liens, ou encore récupérer du contenu éditorial…etc.

Scrapy est léger, facile à comprendre (ça utilise du Xpath et un système de règles), et fonctionne sous Windows, Linux, Mac, BSD…etc (c’est du Python). Voici ce que ça donne par exemple pour extraire les liens des derniers torrents mis en ligne sur Mininova.

class MininovaSpider(CrawlSpider):

    name = 'mininova.org'
    allowed_domains = ['mininova.org']
    start_urls = ['http://www.mininova.org/today']
    rules = [Rule(SgmlLinkExtractor(allow=['/tor/d+']), 'parse_torrent')]

    def parse_torrent(self, response):
        x = HtmlXPathSelector(response)

        torrent = TorrentItem()
        torrent['url'] = response.url
        torrent['name'] = x.select("//h1/text()").extract()
        torrent['description'] = x.select("//div[@id='description']").extract()
        torrent['size'] = x.select("//div[@id='info-left']/p[2]/text()[2]").extract()
        return torrent

Toute la doc et le soft sont disponibles sur le site officiel de Scrapy. Ca promet de longues heures d’amusement en perspective !


A la recherche d’un job dans le numérique et envie de changer de région et de vie ?

Est-ce que je fais vraiment le boulot que j’aime ? Ma qualité de vie dans cette grosse ville bruyante, polluée, chère … est-elle vraiment la meilleure ? Est-ce que ce village de campagne est le lieu le plus propice pour préparer mes enfants au futur ? Nous sommes nombreux à nous être posé ce genre de questions à un moment ou un autre, moi le premier.

Et bien si vous êtes dans cette situation, que vous avez envie de changer d’air sans pour autant changer de travail, Laou vous accompagne dans toutes les étapes de ce nouveau voyage, pour que vous ayez l’esprit serein jusqu’au moment d’envoyer votre premier mail pro 😉

Découvrir leur service et lancez-vous