Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

ArchiveBox – Un clone d’Archive.org à héberger vous-même

Vous connaissez sans doute Archive.org et la WayBack Machine qui permettent de remonter dans le passé en allant explorer les versions archivées de milliers de pages web.

Et bien avec ArchiveBox c’est un peu le même délire, sauf que là c’est vous qui gérez et autohébergez l’archivage.

Simplement en indiquant une ou plusieurs URL à ArchiveBox, l’outil ira récupérer l’ensemble des fichiers qui composent la page pour en conserver une copie en dur sur votre serveur.

Archivebox peut s’utiliser en ligne de commande et est capable de récupérer les URLs que vous mettez de côté dans Pocket, Pinboard, Instapaper, Wallabag, Shaarli, Delicious, etc. ou dans n’importe quel flux RSS, HTML, JSON, Markdown ou liste au format texte.

ArchiveBox stockera du HTML mais aussi les JS, CSS, PDF, médias (vidéos YouTube compris), et images associées à la page ciblée. Cela vous permettra de garder une trace de ce qui est important à vos yeux, peu importe si le site qui hébergeait ce contenu change, ou disparait.

L’outil est codé en Python et utilise wget, chromium, et youtube-dl et est intégrable dans un workflow plus vaste afin de programmer des récupérations successives selon vos envies.

Toute la donnée récupérée est statique et indexée dans des fichiers JSON. Il est simple ensuite de parser ces fichiers pour vos traitements ou vos recherches.

Pour découvrir ArchiveBox, c’est ici. La doc est ici. Et pour ceux qui veulent tester une démo, il y en a une ici.


IoT, réalité virtuelle, intelligence artificielle… Comment tirer le meilleur parti des datas ?

Le volume des datas en circulation explose…

20 milliards d’objets connectés prévus en 2020, 1,7 mégabytes de données créé chaque secondes par chaque individu sur Terre et 7,7 milliards d’abonnements à un téléphone mobile dans le monde en 2017 ont été enregistrés.
Les donnees circulent partout et leur flux est de plus en plus important. Je vous invite à aller checker cette infographie sur les datas c’est très intéressant.

En Savoir +



Rejoindre la discussion sur Korben Communauté