Le premier fichier que va consulter un robot d’exploration (crawler) quand il va venir visiter votre site. Découvrez nos articles autour du robots.txt
Temps de lecture : 3 minutes Quelquefois, les robots de recherche peuvent explorer un site plusieurs fois par jour, en particulier si vous publiez de nouveaux articles tout au long de la journée, comme dans le cas des…
Temps de lecture : 3 minutes Robots.txt est un fichier qui contient des instructions pour analyser un site web. Il est également connu sous le nom de protocole d’exclusion de robots. Cette norme est utilisée par les sites…