Quantcast
Korben, roi d’internet, logo bébé avec des lunettes en mode thug life Korben, roi d’internet, logo bébé avec des lunettes en mode thug life

Korben Upgrade your mind

RoboBrowser – Une bibliothèque Python pour scraper et faire surfer votre code

Si vous voulez simuler une présence humaine sur le web, oubliez les macros qui squattent votre clavier et votre souris et passez à RoboBrowser. Cette bibliothèque Python permet d’aller sur la page web de votre choix, remplir des formulaires, les soumettre, récupérer des contenus ou cliquer sur des liens. C’est un scraper avec des notions de navigation web un peu plus poussées.

Alors oui effectivement, cela peut servir à des spammeurs de commentaires, mais je pense que les mecs ne m’ont pas attendu. Par contre, ce qui est cool, c’est que si vous développez vous-même vos outils et que vous vous connectez à des plateformes extérieures qui n’ont pas d’API, il est parfaitement envisageable grâce à RoboBrowser, d’intégrer ces plateformes dans vos workflows.

Voici un exemple de code où RoboBrowser est utilisé pour récupérer les paroles d’une chanson :

import re
from robobrowser import RoboBrowser

# Browse to Genius
browser = RoboBrowser(history=True)
browser.open('http://genius.com/')

# Search for Porcupine Tree
form = browser.get_form(action='/search')
form                # <RoboForm q=>
form['q'].value = 'porcupine tree'
browser.submit_form(form)

# Look up the first song
songs = browser.select('.song_link')
browser.follow_link(songs[0])
lyrics = browser.select('.lyrics')
lyrics[0].text      # nHear the sound of music ...

# Back to results page
browser.back()

# Look up my favorite song
song_link = browser.get_link('trains')
browser.follow_link(song_link)

# Can also search HTML using regex patterns
lyrics = browser.find(class_=re.compile(r'blyricsb'))
lyrics.text         # nTrain set and match spied under the blind...

Et voici un autre exemple ou RoboBrowser est utilisé pour remplir un formulaire :

from robobrowser import RoboBrowser
browser = RoboBrowser()
browser.open('http://twitter.com')

# Get the signup form
signup_form = browser.get_form(class_='signup')
signup_form         # <RoboForm user[name]=, user[email]=, ...

# Inspect its values
signup_form['authenticity_token'].value     # 6d03597 ...

# Fill it out
signup_form['user[name]'].value = 'python-robot'
signup_form['user[user_password]'].value = 'secret'

# Submit the form
browser.submit_form(signup_form)

 


MacWay fête ses 30 ans et qui dit 30 ans dit JEU CONCOURS !

Le grand jeu anniversaire est disponible sur macway.com ! Tentez de remporter un MacBook Air jusqu’au 11 Octobre 2020 !
D’autres lots sont également mis en jeu, avec notamment une trottinette Force Moov , un casque Bose QuietComfort 35.
Bonne nouvelle : il n’y a pas de perdant, puisque chaque participant recevra un bon d’achat de 10€ !
Tirage au sort le 12 Octobre 2020.

En Savoir +



130 idées pour votre Raspberry Pi

Nous sommes nombreux à nous être procuré un petit ordinateur Raspberry Pi pour nous lancer dans des projets de ouf malade… C’est très cool, mais à part le classique Media Center, qu’avez-vous fait avec votre Raspberry Pi ?

Si vous séchez niveau idées, voici une petite sélection que j’ai rassemblée au cours des derniers mois. J’imagine qu’il y a encore beaucoup d’autres idées et de tutos, donc n’hésitez pas à partager les liens dans les commentaires, je les rajouterai à ma liste. Merci et merci à tous ceux qui m’ont envoyé des idées !

En attendant, j’espère que ceux-ci vous donneront de l’inspiration…

On peut donc en faire :

  1. Un module pour ouvrir sa porte de garage à la voix (grâce à SIRI)
  2. Une table basse de jeux d’arcade pour se la raconter quand on invite du monde à la maison.
  3. Une Beetbox pour faire de la musique avec des betteraves.
  4. Un robot Roomba.
  5. Un scanner antivirus avec ClamAV.
  6. Un netbook.
  7. Un système de surveillance vidéo communiquant via Telegram.
  8. Une pirateBox /-)
  9. Un mediacenter avec Kodi.
  10. Un mediacenter avec Plex.
  11. Un mediacenter avec Emby.
  12. Un système de mesure de la qualité de l’air.
  13. Un serveur de streaming avec OpenMediaVault.
  14. Un serveur domotique GPIO.
  15. Un serveur SqueezeBox (Logitech Media Server)
  16. Une alarme pour votre domicile.
  17. Un lecteur d’audiobooks.
  18. Un appareil photo pour prendre le ciel étoilé.
  19. Un serveur Owncloud.
  20. Un jukebox LEGO.
  21. Un outil de surveillance réseau (network monitoring) Il y a également ce projet.
  22. Un char d’assaut.
  23. Un bot Twitter ou encore celui-ci pour poster des photos.
  24. Un connecteur OBD-II (pour la voiture)
  25. Un bloqueur de publicité pour la télévision.
  26. Un serveur BitTorrent.
  27. Un serveur FTP classique.
  28. Un serveur FTP qui fonctionne à l’énergie solaire.
  29. Une borne d’arcade MAME.
  30. Un transmetteur FM.
  31. Un NAS.
  32. Un ECG (Électrocardiogramme) portable.
  33. Un serveur Git
  34. Un serveur de mail.
  35. Un ordinateur portable.
  36. Un outil de surveillance du trafic réseau.
  37. Un cadre photos numérique.
  38. Une Time Machine.
  39. Une box domotique avec Jeedom ou avec OpenHAB.
  40. Un module pour piloter ses guirlandes de Noël.
  41. Un serveur web. (ou un « blog« … enfin, un serveur LAMP quoi)
  42. Des lunettes Raspberry Pi.
  43. Un distributeur de tickets.
  44. Une serre connectée.
  45. Un routeur pour bloquer les pubs.
  46. Un système embarqué pour lire des plaques d’immatriculation.
  47. Une console de rétro gaming.
  48. Des animations en time-lapse.
  49. De quoi streamer de la musique chez vous comme Sonos. (Y’a ça aussi)
  50. Une machine à conseils.
  51. Un ordinateur pour apprendre aux enfants à développer des jeux vidéos [PDF].
  52. Un ordinateur de bord pour la voiture.
  53. Un boite à outils pour faire du pentest (avec Pwnie Express que j’adore)
  54. Un système de contrôle à distance de votre PC Windows.
  55. Un détecteur de mouvement avec capture de photos.
  56. Un serveur Minecraft.
  57. Un système d’affichage dynamique pour diffuser de l’information ou de la publicité.
  58. De quoi streamer des jeux PC.
  59. Un super ordinateur.
  60. Un studio pour faire du Stop Motion.
  61. Du LightPainting (Allez voir, c’est magnifique)
  62. Un thermostat pour gérer vos température.
  63. Une station météo ici ou là.
  64. Un photomaton ou aussi ce projet de Photo Booth.
  65. Une PlayStation.
  66. Un jeu de Quizz avec possibilité d’ajouter des télécommandes.
  67. Une GameBoy.
  68. Un miroir connecté.
  69. Un intercom comme en 1986
  70. Un outil de suivi de votre entrainement physique quotidien.
  71. Une voiture télécommandée.
  72. Un indicateur visuel pour savoir si vous êtes toujours connecté au net.
  73. Un mineur de Bitcoins.
  74. Un serveur DLNA.
  75. Un serveur Asterisk (pour la VoIP).
  76. Un agenda Google à accrocher sur le mur.
  77. Un distributeur de croquettes.
  78. Un jeu pour chat avec un laser.
  79. Un robot.
  80. Un système pour faire de l’astro-photographie.
  81. Un robot chien.
  82. Un robot chat ou un autre robot chat.
  83. Un cluster de serveurs avec OctaPi.
  84. Un serveur VPN.
  85. Un routeur VPN de voyage.
  86. Un module DSLR qui se connecte à un appareil photo reflex et qui permet de transférer les images via le Wifi ou de contrôler le déclenchement à distance.
  87. Un module de prise de photo en haute atmosphère avec un ballon sonde.
  88. Un lecteur RFID.
  89. Un Chromecast.
  90. Une automatisation de votre chemin de fer en modèle réduit (train).
  91. Une passerelle LoRaWan.
  92. Un tracker GPS.
  93. Un serveur VPN à domicile.
  94. Un serveur de webcam.
  95. Faire de la musique en la codant.
  96. Une lampe réveil.
  97. Un ordinateur de bureau.
  98. Un quadcopter pour survoler le jardin des voisins.
  99. Une machine à café pilotable et programmable à distance.
  100. Un relai TOR.
  101. Un traceur (pen plotter) pour dessiner.
  102. Un live stream sur YouTube.
  103. Piloter un téléscope.
  104. Une machine à cocktail.
  105. Du détournement de Kindle pour l’utiliser comme un écran.
  106. Un baladeur capable de lire du MOD, S3M, IT ou encore XM.
  107. Une Super Nintendo.
  108. Des enceintes AirPlay.
  109. Un avertisseur d’emails reçus et il y a aussi ce projet.
  110. Un Raspberry Pi… overclocké.
  111. Un flipper.
  112. Une radio pour écouter la BBC avec le décalage horaire.
  113. Un spectacle pyrotechnique.
  114. Un robot pilotable à distance.
  115. Connecter une imprimante sur le réseau.
  116. Un serveur de synchro pour Firefox.
  117. Un assistant vocal Google Home.
  118. Piloter des ampoules Philips Hue en synchro avec Kodi
  119. Faire du suivi de température.
  120. Une radio pirate.
  121. Un sismographe.
  122. Un détecteur steampunk de radiations et compteur Geiger.
  123. Un routeur OpenWRT pour votre réseau.
  124. Un switch niveau 3 pour votre réseau.
  125. Un walkman lecteur de disquettes.
  126. Un répéteur wifi pour augmenter la portée de votre réseau.
  127. Un piège avec des rayons laser.
  128. Alimenter le Raspberry Pi avec l’énergie solaire.
  129. Un thérémine pour faire de la musique avec votre corps.
  130. Un wikipedia offline.

Et si vous cherchez un moyen rapide et pas cher de faire un boitier de protection pour vos Raspberry Pi, pensez aux LEGO.

Bon, je pourrai continuer comme ça toute la journée, mais va bien falloir que je m’arrête. Je pense que vous avez déjà de quoi faire pour vous lancer dans de nouveaux projets avec votre Raspberry Pi !

Amusez-vous bien !

Article mis à jour le 21 septembre 2020.
Publication d’origine le 16 janvier 2013.


MacWay fête ses 30 ans et qui dit 30 ans dit JEU CONCOURS !

Le grand jeu anniversaire est disponible sur macway.com ! Tentez de remporter un MacBook Air jusqu’au 11 Octobre 2020 !
D’autres lots sont également mis en jeu, avec notamment une trottinette Force Moov , un casque Bose QuietComfort 35.
Bonne nouvelle : il n’y a pas de perdant, puisque chaque participant recevra un bon d’achat de 10€ !
Tirage au sort le 12 Octobre 2020.

En Savoir +


Réponses notables

  1. Pour ma part, j’utilise CasperJS (nécessite PhantomJS).

    Il est très puissant et permet de généré des images de la page capturé.

  2. Avatar for J4N J4N says:

    Si ca intéresse, il y a un très bon équivalent en .Net: ScrapySharp

  3. Rien à voir mais +1 pour le mec qui a cherché les paroles de “Trains” de Porcupine Tree :slight_smile:

Continuer la discussion sur Korben Communauté

2 commentaires supplémentaires dans les réponses

Participants