Fichier robots.txt - Définition de Robots.txt

De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.

On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.

Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.

Si vous avez des questions ou des commentaires à apporter à cette définition, utilisez ce formulaire, merci d'avance !

Formation recommandée

Nous sommes un organisme de formation déclaré et pouvons à ce titre vous fournir une convention de formation pour prise en charge par votre OPCA ou votre DIF. Plus de 4000 entreprises ont déjà participé à nos stages, que nous organisons chaque mois à Paris et en province. Lisez les témoignages de nos participants.

Auteur

Autres sites sur le sujet

Commentaires

Par Max le 21-06-2012 : Ressource supplémentaire
Le site "Web Robots Page" dont vous parlez n'est malheureusement plus à jour depuis quelques années.

En revanche, il existe un site d'aide-mémoire en français et à jour sur le protocole Robots.txt : http://robots-txt.com/

Ajoutez votre commentaire

Si vous avez des commentaires à faire ou des questions à poser, remplissez le formulaire ci-dessous :

Les champs marqués du signe * sont obligatoires.

Votre pseudo et celui de votre site apparaîtront sur la page publique de la définition, avec un lien vers votre site. Votre adresse email nous servira à vous prévenir des suites que nous donnerons à votre commentaire (qu'il soit accepté ou refusé) ; en aucun cas elle ne sera communiquée à un tiers sans votre consentement. Votre adresse IP sera enregistrée conformément aux obligations légales.

Définitions à consulter

Nous vous proposons de consulter également la définition des termes suivants :

Agent : Logiciel effectuant des opérations spécifiques de façon automatique. Par exemple, les moteurs de recherche utilisent un agent pour rechercher et sauvegarder les pages web de son index.
Alstom : Alstom figure parmi les principaux fabricants mondiaux d'infrastructures destinées aux secteurs de l'énergie et du transport.
AskJeeves : AskJeeves est le robot d'indexation des moteurs de recherche Ask.com et Teoma
Balises meta : Balises invisibles par l'internaute insérées dans l'entête d'une page web permettant de donner des informations sur la page (description succincte, auteur, etc.)
Cloaking : Technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.
Fichier log : Fichier regroupant l'ensemble des événements survenus sur un logiciel, une application, un serveur ou tout autre système informatique.
Fichier prospects (ou fichier de prospection) : Base de données segmentée et qualifiée comprenant les coordonnées de particuliers ou d'entreprises (nom/raison sociale, adresses et, selon les revendeurs, téléphone, télécopie, etc.).
Htaccess : Fichier de configuration utilisé par les serveurs tournant sous Apache.
Htpasswd : Fichier de stockage des mots de passe, utilisé par les serveurs tournant sous Apache.
Lien mort : Un lien est dit mort si la page de destination n'est pas (ou plus) accessible.
Liens sponsorisés : Les liens sponsorisés (ou liens commerciaux ou liens promotionnels) sont des liens qui apparaissent sur la droite des résultats dans les moteurs de recherche. Contrairement aux autres liens (résultats naturels), ils s'agit de liens publicitaires.
Liste noire : Rapporté au contexte du référencement, ceci désigne la liste des sites (ou pages) qui n´ont pas respecté certaines règles ou conditions et qui sont écartés des résultats (moteurs de recherche) ou propositions de sites (annuaires par exemple) soit temporairement soit définitivement.
Marketing one to one : Le marketing one to one consiste à adapter l'offre et la publicité à un seul et unique consommateur, au cas par cas.
Mastercam : Mastercam est un logiciel de conception et de fabrication assistée par ordinateur.
Mediapartner : Nom du robot d'indexation (crawler) de Google pour les partenaires AdSense for Content.
Métamoteur : Logiciel ou site Web interrogeant plusieurs annuaires et moteurs de façon simultanée et en synthétisant les réponses.
Moteur de recherche : De façon complémentaire aux annuaires qui travaillent à recenser les sites, les moteurs de recherche effectuent, quant à eux, un travail approfondi pour répertorier les pages à l'intérieur de ces sites.
MSNBot : Robot d'indexation des moteurs de recherche MSN.com et Live.com
Page satellite : Pages non visibles par les visiteurs dédiées au référencement d'un site Internet sur les moteurs de recherche.
Pinguely Haulotte : Pinguely-Haulotte est le n° 1 européen et le n° 3 mondial de la construction de nacelles élévatrices de personnes.

Robots.txt

Définition