Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

Scrapy – Un framework dédié au crawl et à l’extraction de données en ligne

Si votre passion dans la vie, c’est de programmer des bots qui vont crawler des sites web pour en extraire le contenu afin d’alimenter vos propres bases données, vous serez surement heureux de découvrir Scrapy ?

Ce framework dédié au parcours de site et à l’extraction de données structurées dans les pages web peut être utilisé dans de nombreuses situations… Par exemple pour faire du monitoring, extraire des liens, ou encore récupérer du contenu éditorial…etc.

Scrapy est léger, facile à comprendre (ça utilise du Xpath et un système de règles), et fonctionne sous Windows, Linux, Mac, BSD…etc (c’est du Python). Voici ce que ça donne par exemple pour extraire les liens des derniers torrents mis en ligne sur Mininova.

class MininovaSpider(CrawlSpider):

    name = 'mininova.org'
    allowed_domains = ['mininova.org']
    start_urls = ['http://www.mininova.org/today']
    rules = [Rule(SgmlLinkExtractor(allow=['/tor/d+']), 'parse_torrent')]

    def parse_torrent(self, response):
        x = HtmlXPathSelector(response)

        torrent = TorrentItem()
        torrent['url'] = response.url
        torrent['name'] = x.select("//h1/text()").extract()
        torrent['description'] = x.select("//div[@id='description']").extract()
        torrent['size'] = x.select("//div[@id='info-left']/p[2]/text()[2]").extract()
        return torrent

Toute la doc et le soft sont disponibles sur le site officiel de Scrapy. Ca promet de longues heures d’amusement en perspective !


Sécurité et vitesse pour votre connexion internet

Restez à l’abris des regards indiscrets

En règle générale, utiliser un VPN pour se connecter à internet a tendance à ralentir vos débits de connexions, c’est le cas pour afficher une simple page HTML ou accéder à d’autres catalogues de VOD comme ceux de NETFLIX. Le téléchargement de fichiers ou du flux vidéo en devient parfois saccadé.

Notre VPN vous propose Une bande passante illimitée et une sécurité renforcée avec un cryptage AES 256 et un système anti-empreintes digitales

Restez éfficace et anonyme



LNAV – Un visualisateur de fichiers de logs libre et pratique

LNAV (Logfile Navigator) est un outil dispo pour Linux et macOS qui permet de visualiser et de parcourir des fichiers de logs de manière agréable et efficace.
En plus de la coloration syntaxique, de la prise en charge de formats de logs standards (Syslog, CUPS, dpkg, sudo, strace…etc), LNAV est aussi capable de décompresser à la volée des logs zippés (ou gzippés ou bzippés) mais aussi de rassembler (merge) des logs segmentés pour en faciliter la visualisation.

Lire la suite



Une faille de sécurité dans les processeurs risque de diminuer jusqu’à 30% les performances des machines

La grosse news d’hier, ce n’était pas Logan Paul filmant un pendu au Japon, mais plutôt ce gros « problème » qui touche l’ensemble des processeurs Intel fabriqués durant ces 10 dernières années. Le problème est en réalité 2 failles de sécurité très importantes qui permettent à n’importe quel programme malicieux d’accéder en lecture à la mémoire utilisée par le kernel (le noyau de l’OS et ses modules interagissant avec le hardware).

Lire la suite



Bandwidth Hero – Surfez compressé pour économiser de la bande passante

Si vous êtes un peu juste en bande passante et que vous voulez accélérer un peu les choses, je vous propose aujourd’hui de jeter un œil à Bandwidth Hero.

Il s’agit d’une extension open source pour Chrome et Firefox qui fonctionne de concert avec un serveur proxy. Ce serveur proxy récupère chaque image que votre navigateur demande, la compresse au format WebP/JPEG en basse résolution et vous la renvoie ensuite directement.

Lire la suite