|
Annuaire >
Internet >
Recherche d'information >
Moteurs de recherche > Définitions
robots.txt
Définition
Fichier de directives destinées aux robots des moteurs de recherche.De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.
On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.
Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.
Définitions connexes
 Lien mort
Autres sites sur le sujet
 Voici 2 autres sites sur le sujet :
 Web Robots Pages 
 Documentation Abondance 
Auteur
 Remi Loisel
 Studio Amarante
Utilisez cette définition !
 Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :
<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> :
<a href="http://www.dicodunet.com/annuaire/def-373-robots-txt.htm">
robots.txt</a></p>
Actualité
- Déclarer son fichier sitemap dans le fichier robots.txt ...
Maintenant que les moteurs se sont accordés pour un protocole commun de fichier SiteMap, ils simplifient la soumission de fichier sitemap en proposant d'utiliser le fichier robots.txt (qui est pourtan[...]
- Pister les robots crawlers des moteurs de recherche avec Doower ...
- Moteurs-Référencement > La Chine bloque les moteurs de recherche, sauf Baidu ...
Selon le blog Search Engine Land, les moteurs de recherche Google, Yahoo et Microsoft sont inaccessibles depuis mer...[...]
- Comment faire ignorer des zones de page pour Yahoo (robots-nocontent) ...
Jusqu'à présent il n'était pas vraiment possible d'empêcher les moteurs de recherche d'indexer une ou plusieurs parties d'une page web. On pouvait éventuellement se débrouiller pour générer une partie[...]
- Robots.txt : Yahoo supporte les options avancées ...
- optimisation robots.txt...
Autres annuaires et moteurs de recherche connus
Statistiques : 7 Réponses || 43 Vus
Dernier message par Leonick
- Création automatique de fichier robots.txt...
Le fichier robots.txt est un outil qui donne des recommandations au moteur de recherche sur la manière dont il doit indexer votre site. Concrètement, vous lui dites tu peux indexer cette partie de mon site, mais ne parcourt pas ces répertoires car je ne désire pas qu'ils se retrouvent dans les résultats des moteurs de recherche (oui, vous pouvez lui dire tout cela).Un outil (en anglais) vous permet désormais de créer automatiquement votre fichier robots.txt en fonction de vos besoins. Très pratique si l'on ne connait pas la syntaxe et la façon de rédiger un fichier de ce type !
- Le contenu du fichier robots.txt...
Suite à la publication de l'article intitulé « Optimiser l'indexation de votre site : indiquer aux moteurs de recherche l'emplacement de votre fichier sitemap grâce au fichier robots.txt », certains internautes m'ont demandé si ce fichier peut avoir un autre contenu. Bien sur que oui, mais avant d'approfondir le contenu du fichier robots.txt, il me semble nécessaire de rappeler que ce fichier doit être placé en racine de votre site et de vous préciser l'objet de ce fichier. Le fichier robots.txt (...)
-
David Taté - Blog Internet Informatique Nouvelles Technologies
/
Indexation,
Moteur de recherche
- Robots.txt...
Que font les pires geeks avant de naviguer sur un site ?
- Ils vérifient le fichier robots.txt pour voir si ils peuvent le faire.
- Erreurs Robots.txt sans fichier Robots.txt...
Salut à tous !
Voila depuis quelque temps que j'ai des erreurs robots.txt qui portent sur des URLs de mes sites alors que je n'ai aucun robots.txt existant sur aucun de mes sites :?
Une piste ? Bug Google ? D'autres dans le même cas ?
Merci... Forum AdSense
- Le robots.txt d'Obama...
L'équipe de Barack Obama a sans aucun doute le génie de chuchoter à l'oreille des nerds. Le blog de Jason Kottke nous apprend que le fichier robots.txt de la Maison Blanche a été modifié aujourd'hui. Kesako, robots.txt ? C'est un fichier plac...Lire la suite | 13 commentaires
- robots.txt : interdire tout sauf la racine...
Bonjour,
Après avoir lu quelque part que nommer les dossiers à ne pas faire visiter aux robots dans le robots.txt revenait aussi à faciliter la recherche des dossiers "intéressants" aux "crackeurs" je me demande et cherche (en ... Forum Référencement Google
- Génération d'un fichier robots.txt avec Google...
Depuis ce matin, je me suis aperçu que Google Webmaster Tools propose un outil d’aide à la création de fichiers robots.txt pour son site. Jusqu’à aujourd’hui, je recommandais l’utilisation de Robots Txt Generator, un service anglophone gratuit et pratique pour générer son fichier robots.txt. L’outil s’avère sobre mais pratique. Aucun souci pour définir des exceptions. [...]
- probleme avec fichier robots.txt fichier bloquer...
salut! voila mon problème le ficher robots.txt bloque mon url. j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt voila je ne suis pas un pro. merci bocoup a bientot :cry: Forum Indexation dans Google
- WebmasterWorld se désindexe
Le grand forum WebmasterWorld.com consacré à la création web et au référencement décide de se passer de l'aide des moteurs de recherche...
Il n'est déjà plus présent dans Google et devrait prochainement disparaitre de Yahoo! et de MSN !
Le fichier robots.txt qui interdit l'accés de ses pages aux robots crawlers.
Coup de pub ou nouvelle stratégie de communication basée sur le bouche à oreille ?
Sites de l'annuaire
Voici des sites figurant dans notre annuaire (inscription gratuite) :
- Vente de robots mobiles programmables
Vente de robots personnels autonomes programmables, de kits robotiques personnels ou destinés à l'enseignement, tutoriels sur la robotique, la programmation et l'intelligence artificielle. Les principaux robots vendus sur Génération robots sont Lego Mindstorms NXT, Boe-Bot et SumoBot de Parallax ou le fameux kit Vex Robotics. Génération Robots propose également des tutoriels et des articles de fonds sur la programmation robotique, la robotique et l'intelligence artificielle....
Catégorie : Informatique > Robotique
http://www.generationrobots.com/
- Enaty, la boîte à outils du webmaster.
Site d'aide à la conception de sites internet orienté vers un public de webmaster débutants. Il comprend une dizaine d'outils et générateurs gratuits qui vont des meta tag aux feuilles CSS ainsi que des articles d'actualités....
Catégorie : Conception de sites > Aides et tutoriels
http://outils.enaty.com/
- Robots de piscine aux meilleurs prix
Site de vente online de robot de piscine de tous types : robot de piscine électrique, hydraulique ou pulseur de grandes marques (Polaris, Zodiac, Aquavac ou Dolphin). Tous les robots sont vendus neufs et sous garantie et sont livrés au domicile de l'acheteur par transporteur. Le choix étendu et varié qui est proposé permet de trouver un robot dans toutes fourchettes de prix et adapté aux dimensions des différents bassins....
Catégorie : Piscines, spas, saunas > Accessoires pour piscines
http://www.robots-piscine.fr/
- Robotique Concept - Achat et vente de robots industriels
Robotique Concept est spécialiste en vente et intégration de robots industriels neufs ou d'occasion et propose de nombreuses prestations métier telles que des formations à la mise en place et à l'exploitation de solutions robotisées, la programmation de robots, le transfert ou la modification d'installations robotiques existantes. Ses compétences lui permettent de prendre en charge l'intégralité des projets de robotisation, de l'étude technique à la mise en production....
Catégorie : Commerce et économie > Produits et services industriels
http://www.robotiqueconcept.com/
- Un site de robotique et de construction de robots
Robot-Maker est un site pour les passionnés de robotique et les constructeurs de robots. Robot-maker est un site qui aborde tous les aspects de l'intelligence et de la vie artificielle. Un site très bien fréquenté et qui contient des astuces pour fabriquer facilement son propre robot. Un forum avec aujourd'hui beaucoup de membres inscrits est mis à disposition des utilisateurs afin qu'ils puissent échanger autour d'une même passion....
Catégorie : Informatique > Robotique
http://www.robot-maker.com/
- Robot Blog : Le Site des Robots, de la Robotique et de leur actualité
Robot Blog vous présente les dernières actualités sur les robots et la robotique. Des articles sur les nouveautés et avancées technologiques dans le domaine robotique, mais aussi les publicités, les films traitants des Mecha ou MechWarriors, en passant par les jouets ou gadgets, les humanoïdes, les systèmes hybrides, les exosquelettes , tous les thèmes en rapport avec les robots sont traités sur ce blog, illustré de photos, vidéos et liens vers des sites connexes....
Catégorie : Informatique > Robotique
http://robotblog.free.fr/
- Script de détection des robots: CrawlTrack
CrawlTrack est une application libre (license GNU GPL), qui permet de suivre les passages des robots des moteurs de recherche sur son site internet. Les données sont présentées sous forme de tableau et de graphiques qui permettent un très bonne lisibilit...
Catégorie : Logiciels > Logiciel libre
http://www.crawltrack.info
Recherche interne
Consultez également les résultats de la recherche interne :
- "robots.txt" avec le moteur de recherche interne
- "robots.txt" avec une recherche Google limitée au Dico du Net
|
