Dictionnaire > Définitions Moteurs de recherche > Robots.txt
Dictionnaire en ligne
Définitions Sigles Participez !
A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
 
Rechercher

Rejoignez-nous sur la page Facebook Dicodunet

Robots.txt

 Définition

Definition de Robots.txt  Fichier de directives destinées aux robots des moteurs de recherche.

Cette définition a été ajoutée et publiée sur notre site le 18-03-2011

 Description

Description de Robots.txt  De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.

On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.

Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.

Si vous avez des questions ou des commentaires à apporter à cette définition, utilisez ce formulaire, merci d'avance !

Partagez cette définition sur Google+ en cliquant sur ce bouton :

N'oubliez pas de suivre notre compte Twitter et de rejoindre les autres fans de Dicodunet sur Facebook

 Formation recommandée

Si vous vous intéressez à ce thème, sachez qu'il fait partie des notions abordées au cours de notre formation au référencement naturel Ranking Metrics.

Nous sommes un organisme de formation déclaré et pouvons à ce titre vous fournir une convention de formation pour prise en charge par votre OPCA ou votre DIF. Plus de 4000 entreprises ont déjà participé à nos stages, que nous organisons chaque mois à Paris et en province. Lisez les témoignages de nos participants.

 Auteur

Auteur Remi Loisel : Studio Amarante

 Autres sites sur le sujet

Liens externes Voici 2 autres sites sur le sujet :

Prévisualisation fournie par ThumbshotsWeb Robots Pages

Prévisualisation fournie par ThumbshotsDocumentation Abondance

 Commentaires

1 commentaire :

Par Max le 21-06-2012 : Ressource supplémentaire
Le site "Web Robots Page" dont vous parlez n'est malheureusement plus à jour depuis quelques années.

En revanche, il existe un site d'aide-mémoire en français et à jour sur le protocole Robots.txt : http://robots-txt.com/

 Ajoutez votre commentaire

Si vous avez des commentaires à faire ou des questions à poser, remplissez le formulaire ci-dessous :

Votre pseudo * :
Ne mettez pas votre nom réel mais plutôt un prénom ou un pseudo
Votre adresse email * :
Indiquez une adresse qui fonctionne !
URL de votre site :
Si vous le voulez, mettez l'URL de votre site, nous y ferons un lien
Titre de votre commentaire * :
En quelques mots, l'objet de votre commentaire
Votre commentaire * :
Indiquez ici vos remarques, vos questions, vos compléments d'information... Aucune balise HTML n'est autorisée. Votre commentaire doit faire au moins 150 caractères de longueur.
 

Les champs marqués du signe * sont obligatoires.

Votre pseudo et celui de votre site apparaîtront sur la page publique de la définition, avec un lien vers votre site. Votre adresse email nous servira à vous prévenir des suites que nous donnerons à votre commentaire (qu'il soit accepté ou refusé) ; en aucun cas elle ne sera communiquée à un tiers sans votre consentement. Votre adresse IP sera enregistrée conformément aux obligations légales.

 Définitions à consulter

Définitions à consulter Nous vous proposons de consulter également la définition des termes suivants :

  • Agent : Logiciel effectuant des opérations spécifiques de façon automatique. Par exemple, les moteurs de recherche utilisent un agent pour rechercher et sauvegarder les pages web de son index.
  • Alstom : Alstom figure parmi les principaux fabricants mondiaux d'infrastructures destinées aux secteurs de l'énergie et du transport.
  • AskJeeves : AskJeeves est le robot d'indexation des moteurs de recherche Ask.com et Teoma
  • Balises meta : Balises invisibles par l'internaute insérées dans l'entête d'une page web permettant de donner des informations sur la page (description succincte, auteur, etc.)
  • Cloaking : Technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.
  • Fichier log : Fichier regroupant l'ensemble des événements survenus sur un logiciel, une application, un serveur ou tout autre système informatique.
  • Fichier prospects (ou fichier de prospection) : Base de données segmentée et qualifiée comprenant les coordonnées de particuliers ou d'entreprises (nom/raison sociale, adresses et, selon les revendeurs, téléphone, télécopie, etc.).
  • Système de gestion électronique de document (GED) : Système permettant la saisie, le stockage, l'organisation, la consultation et la recherche de documents sous forme électronique.
  • Htaccess : Fichier de configuration utilisé par les serveurs tournant sous Apache.
  • Htpasswd : Fichier de stockage des mots de passe, utilisé par les serveurs tournant sous Apache.
  • Lien mort : Un lien est dit mort si la page de destination n'est pas (ou plus) accessible.
  • Liens sponsorisés : Les liens sponsorisés (ou liens commerciaux ou liens promotionnels) sont des liens qui apparaissent sur la droite des résultats dans les moteurs de recherche. Contrairement aux autres liens (résultats naturels), ils s'agit de liens publicitaires.
  • Liste noire : Rapporté au contexte du référencement, ceci désigne la liste des sites (ou pages) qui n´ont pas respecté certaines règles ou conditions et qui sont écartés des résultats (moteurs de recherche) ou propositions de sites (annuaires par exemple) soit temporairement soit définitivement.
  • Mediapartner : Nom du robot d'indexation (crawler) de Google pour les partenaires AdSense for Content.
  • Métamoteur : Logiciel ou site Web interrogeant plusieurs annuaires et moteurs de façon simultanée et en synthétisant les réponses.
  • Moteur de recherche : De façon complémentaire aux annuaires qui travaillent à recenser les sites, les moteurs de recherche effectuent, quant à eux, un travail approfondi pour répertorier les pages à l'intérieur de ces sites.
  • MSNBot : Robot d'indexation des moteurs de recherche MSN.com et Live.com
  • Page satellite : Pages non visibles par les visiteurs dédiées au référencement d'un site Internet sur les moteurs de recherche.
  • Pinguely Haulotte : Pinguely-Haulotte est le n° 1 européen et le n° 3 mondial de la construction de nacelles élévatrices de personnes.
  • Redirection : Rediriger les requêtes concernant une page ou un fichier vers une autre page ou un autre fichier

Si vous avez aimé cette définition, partagez-la sur vos réseaux sociaux !

Partager

N'oubliez pas de suivre notre compte Twitter et de rejoindre les autres fans de Dicodunet sur Facebook