Les fichiers Robots.txt permettent de spécifier les règles que doivent respecter les moteurs de recherche lorsqu’ils référencent votre site. Vous pouvez par exemple empêcher Google d’aller voir dans votre dossier mp3 sur votre serveur en plaçant dedant le robots.txt approprié !
Donc aujourd’hui, dans ma série des générateurs, je vais vous parler des
Générateurs de robots.txt
- Robots.txt Generator
Outil de génération de code pour les bots des moteurs de recherche - Robots.txt Generator
Générateur de robot.txt (en allemand) - Robots Txt Generator
Générez simplement un robots.txt pour votre site avec cet outil - Robots.txt syntax checker
Cet outil vous permettra de vérifier que la syntaxe de votre robots.txt est bonne