Liens sponsorisés

robots.txt

Définition

Fichier de directives destinées aux robots des moteurs de recherche.De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.

On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.

Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.

Définitions connexes

Lien mort

Autres sites sur le sujet

Voici 2 autres sites sur le sujet :

Web Robots Pages Langue du site de destination : Anglais

Documentation Abondance Langue du site de destination : Français

Auteur

Remi Loisel : Studio Amarante

Utilisez cette définition !

Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :

<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> : 
<a href="http://www.dicodunet.com/annuaire/def-373-robots-txt.htm">
robots.txt</a></p>

Actualité

Google est un déficient visuel
« Le Crawling est la façon dont les robots des moteurs de recherche (« Spider »), lisent le texte et suivent les liens hypertextes sur un site Internet. Comme un espion les robots des moteurs de recherche, circulent à travers les sites Internet dans le but de collecter des informations pour leurs index. » Les moteurs [...]
Les robots des moteurs de recherche
Les robots des moteurs de recherche : par houba_houbi (1 message)
optimisation robots.txt
Autres annuaires et moteurs de recherche connus Statistiques : 7 Réponses || 43 Vus Dernier message par Leonick
Moteurs de recherche vidéo, une nouvelle étape
L'indexation et les services de recherche dans les fichiers vidéo disponibles en ligne est un enjeu de taille. Les acteurs traditionnels s'affrontent déjà sur ce terrain mais quelques nouveaux entrants entendent tirer leur épingle du jeu. Le monde des moteurs de recherche est en plein renouveau. D'un côté, Google multiplie les ...
Adresse IP des moteurs de recherche
Bonjour, Je pense que la question a surement dûe être posée mais bon. Je cherche des sites où je pourrais trouver les adresses IP des moteurs de recherche, de préférence tous les moteurs de recherche. Merci. PS : les liens que j'ai glané de-... Forum Autres annuaires et moteurs de recherche connus
Moteurs de recherche
Un moteur de recherche est un logiciel permettant de retrouver des ressources (pages web, forums Usenet, images etc.) lire la suite
[Moteurs] Trois Moteurs de Recherche verts
Franck Poisson vient de rédiger un article sur son blog concernant les moteurs de recherche dit vert (écologiques ou à vocation d'[url=http://www.webrankinfo.com/forums/viewtopic_101437.htm]aider la planète[/url]). Présentation des moteurs de l'ar... Forum Autres annuaires et moteurs de recherche connus
Création automatique de fichier robots.txt
Le fichier robots.txt est un outil qui donne des recommandations au moteur de recherche sur la manière dont il doit indexer votre site. Concrètement, vous lui dites tu peux indexer cette partie de mon site, mais ne parcourt pas ces répertoires car je ne désire pas qu'ils se retrouvent dans les résultats des moteurs de recherche (oui, vous pouvez lui dire tout cela).Un outil (en anglais) vous permet désormais de créer automatiquement votre fichier robots.txt en fonction de vos besoins. Très pratique si l'on ne connait pas la syntaxe et la façon de rédiger un fichier de ce type !
Partenaire : Derrière Google, les nouveaux moteurs de recherche
Google possède près de 90% des parts de marché des moteurs de recherche en France. Mais derrière ce géant se cachent de nombreuses solutions alternatives : moteurs de recherche des FAI, anciens moteurs ayant connus leurs heures de gloire ou nouveaux moteurs de recherche, moins connu, mais pas forcement moins performants. Notre partenaire Infos-du-Net vient ainsi de mettre en ligne un dossier consacré à ces moteurs de recherche alternatifs. D
Avez-vous besoin du fichier Robots.txt ?
Le fichier Robots.txt est le premier fichier que visitent les moteurs de recherche lorsqu'ils explorent votre site. Il offre aux webmasters la possibilité de protéger l'accès à certains fichiers ou répertoire du site, pour tous les moteurs de recherche ou seulement certains. Par défaut, si un moteur de recherche ne trouve pas de fichier Robots.txt à la racine du site, ou si ce fichier est vide, le moteur aura potentiellement accès à tous les fichiers et répertoires du site (à condition, bien sûr, qu'il en connaisse l'existence via, par exemple, un Sitemap ou un bon réseau de liens internes accessibles dans les pages du site web). Comment savoir si vous avez besoin de définir des restrictions dans un fichier Robots.txt ? Dans quels cas cela est-il conseillé ? Considérez les cas suivants : Y a-t-il des pages dans votre site qui, bien qu'accessibles par le grand public, ne devraient pas figurer parmi les résultats de recherche ? (Ce peut-être le cas d'un annuaire interne, de conditions générales de ventes, de formulaires d'inscriptions, etc.) Y a-t-il des répertoires du site qui ne contiennent que des éléments de programmation (fichiers de ressources linguistiques, scripts, fichiers d'inclusions, etc.) ? Y a-t-il des images qui ne devraient pas être trouvés via les ou...