Robots.txt
Définition
Fichier de directives destinées aux robots des moteurs de recherche.
Cette définition a été ajoutée et publiée sur notre site le 18-03-2011
Description
De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.
On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.
Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.
Si vous avez des questions ou des commentaires à apporter à cette définition, utilisez ce formulaire, merci d'avance !
Partagez cette définition sur Google+ en cliquant sur ce bouton :
N'oubliez pas de suivre notre compte Twitter et de rejoindre les autres fans de Dicodunet sur Facebook
Formation recommandée
Si vous vous intéressez à ce thème, sachez qu'il fait partie des notions abordées au cours de notre formation au référencement naturel Ranking Metrics.
Nous sommes un organisme de formation déclaré et pouvons à ce titre vous fournir une convention de formation pour prise en charge par votre OPCA ou votre DIF. Plus de 4000 entreprises ont déjà participé à nos stages, que nous organisons chaque mois à Paris et en province. Lisez les témoignages de nos participants.
Auteur
Remi Loisel : Studio Amarante
Autres sites sur le sujet
Voici 2 autres sites sur le sujet :
Web Robots Pages
Documentation Abondance
Commentaires1 commentaire :
Ajoutez votre commentaire
|