Sommaire
Robots.txt est un fichier qui contient des instructions pour analyser un site web. Il est également connu sous le nom de protocole d’exclusion de robots. Cette norme est utilisée par les sites pour indiquer aux robots quelle partie de leur site nécessite une indexation. Vous pouvez également spécifier les zones que ces robots ne doivent pas traiter.
Le fichier txt contient « User-agent » et, en dessous, vous pouvez écrire d’autres directives telles qu’« Autoriser », « Disallow », etc. S’il est écrit manuellement, cela peut prendre beaucoup de temps et vous pouvez entrer plusieurs fois des lignes de commandes dans un fichier. Si vous voulez exclure une page, vous devrez écrire « Disallow : le lien que vous ne voulez pas que les robots visitent ». Il en va de même pour l’attribut qui autorise l’accès.
Qu’est-ce que le Robot. Txt en SEO ?
Savez-vous que ce petit fichier est un moyen d’ouvrir votre site web à un meilleur classement ?
Le premier élément que les robots examinent est le fichier robot.txt. S’ils ne le trouvent pas, il est fort probable qu’ils n’indexent pas toutes les pages de votre site.
Ce fichier minuscule peut être modifié ultérieurement lorsque vous ajoutez d’autres pages à l’aide de petites instructions, mais assurez-vous de ne pas ajouter la page principale dans la directive « interdire ».
Chaque fois que Google envoie un Spider, il ne vérifie que quelques pages de votre site et votre publication la plus récente prend du temps à être indexée. Pour supprimer cette restriction, votre site web doit disposer d’un plan du site et d’un fichier robot.txt. Ces fichiers vont accélérer le processus d’exploration en indiquant quels liens de votre site nécessitent davantage d’attention.
Tu veux en savoir plus sur "Robot, Txt, fichier" ? 😎
Screaming Frog, Qu'est-ce que c'est ? Quelles sont les alternatives ?
Si vous avez à cœur d'améliorer votre stratégie de référencement, vous savez qu'il existe de nombreux outils différents qui peuvent vous aider à optimiser un…
Le but des directives dans le fichier robot.txt
Si vous créez le fichier manuellement, vous devez connaître les consignes utilisées dans le fichier. Vous pouvez même modifier le fichier plus tard, après avoir appris comment il fonctionne.
- Crawl-delay —Cette directive est utilisée pour éviter que les robots d’exploration ne surchargent l’hôte. Un trop grand nombre de demandes peut surcharger le serveur, ce qui entraînerait une mauvaise expérience utilisateur. Crawl-delay est traité différemment par différents robots des moteurs de recherche, Bing, Google, Yandex, traitent cette directive de différentes manières. Pour Yandex, il s’agit d’une attente entre les visites successives. Pour Bing, c’est comme une fenêtre temporelle dans laquelle le robot visite le site une seule fois. Pour Google, vous pouvez utiliser la console de recherche pour contrôler les visites des robots.
- Allowing —La directive Autoriser est utilisée pour activer l’indexation de l’URL suivante. Vous pouvez ajouter autant d’URL que vous le souhaitez, en particulier s’il s’agit d’un site commercial. Votre liste doit donc être volumineuse. Néanmoins, utilisez le fichier robot uniquement si votre site contient des pages que vous ne souhaitez pas indexer.
- Disallowing —Le but principal d’un fichier Robots est d’empêcher les robots d’exploration de consulter les liens, répertoires, etc. mentionnés. Ces répertoires sont toutefois accessibles à d’autres robots qui doivent rechercher les programmes malveillants, car ils ne coopèrent pas avec la norme.
Différence entre un Sitemap et un fichier Robot.txt
Un Sitemap est essentiel pour tous les sites web, car il contient des informations utiles pour les moteurs de recherche. Un Sitemap indique aux robots la fréquence à laquelle vous mettez à jour votre site web et le type de contenu fourni par votre site. Son objectif principal est d’informer les moteurs de recherche de toutes les pages de votre site qui doivent être explorées, alors que le fichier.txt est destiné aux robots d’exploration. Il indique aux Crawlers quelle page explorer et celle qu’il ne faut pas.
Un Sitemap est nécessaire pour que votre site soit indexé, alors que le robot.txt ne l’est pas.
Tu veux en savoir plus sur "Sitemap, Robots, Txt" ? 😎
Quelquefois, les robots de recherche peuvent explorer un site plusieurs fois par jour, en particulier si vous publiez de nouveaux articles tout au long de…
Comment concevoir un robot.txt en utilisant le générateur de fichiers Robots de Google ?
Le fichier robots.txt est facile à créer, mais les gens qui ne savent pas comment faire. Ils doivent suivre les instructions suivantes pour gagner du temps.
Lorsque vous avez atterri sur la page du générateur de nouveau robots.txt, vous verrez quelques options. Toutes les options ne sont pas obligatoires, mais vous devez choisir avec soin. La première ligne contient les valeurs par défaut pour tous les robots, et si vous souhaitez conserver un délai d’analyse.
Laissez-les tels quels si vous ne voulez pas les changer.
La deuxième ligne concerne le plan du site. Assurez-vous d’en avoir un et n’oubliez pas de le mentionner dans le fichier robot.txt.
Après cela, vous pouvez choisir parmi quelques options pour les moteurs de recherche si vous voulez que les robots des moteurs de recherche explorent ou non. Le deuxième bloc concerne les images notamment si vous autorisez leur indexation ; la troisième colonne concerne la version mobile du site web.
La dernière option est pour interdire l’accès, où vous empêcherez les robots d’indexer les zones de la page. Assurez-vous d’ajouter la barre oblique avant de remplir le champ avec l’adresse du répertoire ou de la page.
