robots.txt |
Thème : Moteurs de recherche |
Définition
 Fichier de directives destinées aux robots des moteurs de recherche. Description
 De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.
On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.
Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.
Autres sites sur le sujet
 Voici 2 autres sites sur le sujet :
 Web Robots Pages 
 Documentation Abondance 
Auteur
 Remi Loisel
 Studio Amarante
Définitions à consulter
 Nous vous proposons de consulter également la définition des termes suivants :
- AskJeeves : AskJeeves est le robot d'indexation des moteurs de recherche Ask.com et Teoma
- Balises meta : Balises invisibles par l'internaute insérées dans l'entête d'une page web permettant de donner des informations sur la page (description succincte, auteur, etc.)
- Checksum : Le checksum d'un fichier est une séquence de chiffres et de lettres définissant de manière précise (mais non unique) un fichier afin de savoir si il a été alteré.
- Cloaking : Technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.
- Fichier log : Fichier regroupant l'ensemble des événements survenus sur un logiciel, une application, un serveur ou tout autre système informatique.
- Htaccess : Fichier de configuration utilisé par les serveurs tournant sous Apache.
- Htpasswd : Fichier de stockage des mots de passe, utilisé par les serveurs tournant sous Apache.
- Kids And Teens : Projet évoluant séparément du reste du répertoire DMOZ, et disposant de directives d'édition particulières. Destiné plus particulèrement aux enfants et adolescents.
- Lien mort : Un lien est dit mort si la page de destination n'est pas (ou plus) accessible.
- Page satellite : Pages non visibles par les visiteurs dédiées au référencement d'un site Internet sur les moteurs de recherche.
- Redirection : Rediriger les requêtes concernant une page ou un fichier vers une autre page ou un autre fichier
- Robot : Logiciel d'indexation développé par les moteurs de recherche pour analyser le contenu des pages web et les classer.
- Search Engine Results Page (SERP) : Page de résultats d'un moteur de recherche.
- SiteMaps : Il s'agit d'un moyen pour le webmaster de décrire la liste des pages de son site qui doivent être indexées par Google. L'idée est de faciliter la tâche aux robots d'indexation de Google afin qu'ils indexent plus rapidement et efficacement les pages du site qui l'utilise.
- Undernet : Il existe plusieurs réseau IRC distincts, composé chacun de plusieurs dizaines de serveurs répartis sur toute la planète.
- Visibilité : Aptitude d'un site web à être visible de l'internaute.
Actualité
- Déclarer son fichier sitemap dans le fichier robots.txt ...
Maintenant que les moteurs se sont accordés pour un protocole commun de fichier SiteMap, ils simplifient la soumission de fichier sitemap en proposant d'utiliser le fichier robots.txt (qui est pourtan[...]
- Robots.txt : Yahoo supporte les options avancées ...
- Piéger les spiders et les rippers avec robots.txt ...
- Science > La nouvelle vie des robots ...
Les robots actuels et leurs performancesTout droit sortis de la science fiction, les robots sont devenus bien réels. Bilan. Dossier
Des livres pour fêter les papas.[...]
- « La demande existe pour des robots utiles et pas trop chers » ...
iRobot, le premier fabricant mondial de robots, veut surfer sur le papy boom pour développer sa gamme de robots ménagers à côté de ses machines militaires. Il va bientôt partir à la conquête du marché[...]
- Des robots de bataille enragés dans Battle Rage ...
Battle Rage est un jeu de shoot à la troisième personne développé par Destan Entertainment et produit par Teyon où le joueur contrôlera des robots géants. Les batailles entre les robots auront lieu su[...]
- Après la tempête, les robots martiens repartent ...
Immobilisés par une gigantesque tempête de poussière en juillet, les robots Spirit et Opportunity peuvent désormais reprendre leur mission.[...]
- 0246 - Superbots : super robots ...
Vous ne connaissez pas les superbots ? Ces robots sont constitués de modules tous identiques qui peuvent, de manière autonome, s'assembler, pivoter etc. Ces robots dits « polymorphiques » sont alors c[...]
- Japon: les robots ferraillent sur le ring ...
À ma droite, Monster, robot boxeur spécialiste du crochet... À ma gauche, King Kaiser, humanoïde au style mousquetaire... Le champion du monde de combat de robots a été couronné cette semaine à Tokyo.[...]
- Des robots tueurs pour le champ de bataille ...
Nous vous présentions les premiers robots de l’armée américaine déployés en Irak il y’a quelques mois, ceux -cis n’étant destinés qu’au déminage et a l’observation bien q[...]
- Erreurs Robots.txt sans fichier Robots.txt...
Salut à tous !
Voila depuis quelque temps que j'ai des erreurs robots.txt qui portent sur des URLs de mes sites alors que je n'ai aucun robots.txt existant sur aucun de mes sites :?
Une piste ? Bug Google ? D'autres dans le même cas ?
Merci... Forum AdSense
- Génération d'un fichier robots.txt avec Google...
Depuis ce matin, je me suis aperçu que Google Webmaster Tools propose un outil d’aide à la création de fichiers robots.txt pour son site. Jusqu’à aujourd’hui, je recommandais l’utilisation de Robots Txt Generator, un service anglophone gratuit et pratique pour générer son fichier robots.txt. L’outil s’avère sobre mais pratique. Aucun souci pour définir des exceptions. [...]
- probleme avec fichier robots.txt fichier bloquer...
salut! voila mon problème le ficher robots.txt bloque mon url. j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt voila je ne suis pas un pro. merci bocoup a bientot :cry: Forum Indexation dans Google
- Soumission croisée des sitemaps via le robots.txt...
Il est désormais possible de soumettre les sitemaps correspondants à des domaines différents mais hébergés sur hébergés sur un seul host via vos fichiers robots.txt :
- Google trouvait déja de lui même l’emplacement du sitemap via le robots.txt mais seulement pour des urls correspondantes au host sur lequel le sitemap était hébergé.
- Il a ensuite [...]
- robots.txt : interdire tout sauf la racine...
Bonjour,
Après avoir lu quelque part que nommer les dossiers à ne pas faire visiter aux robots dans le robots.txt revenait aussi à faciliter la recherche des dossiers "intéressants" aux "crackeurs" je me demande et cherche (en ... Forum Référencement Google
- les fichiers robots.txt avantagent Google...
Des chercheurs ont découvert que les fichiers Robots.txt avaient tendance à avantager les robots d’indexation de Google...
Qu'en pensez-vous ?
[url]http://www.vnunet.fr/fr/news/2007/11/20/sites_web_les_fichiers_robots_txt_avantagent_google[/url] Forum Référencement Google
- que mettre dans le fichier robots.txt'...
Bonjour,
le forum de smf est actuellement en construction, donc je me retourne vers vous pour savoir qu'est ce que je dois mettre dans mlon fichier robots.txt, pour que les robots puissent visiter ce qu'il y a d'important sur mon forum c'est à di... Forum Administration d'un site Web
Utilisez cette définition !
 Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :
<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> :
<a href="http://www.dicodunet.com/definitions/moteurs-de-recherche/robots-txt.htm">
robots.txt</a></p>
Commentaires
 Aucun commentaire.
 N'hésitez pas à participer au Dico du Net !
Vous pouvez commenter la définition "robots.txt" en remplissant un formulaire.
Envoyer à un ami
 Vous pouvez envoyer la définition de robots.txt à un ami.
Sites de l'annuaire
Voici des sites figurant dans notre annuaire (inscription gratuite) :
- Enaty, la boîte à outils du webmaster.
Site d'aide à la conception de sites internet orienté vers un public de webmaster débutants. Il comprend une dizaine d'outils et générateurs gratuits qui vont des meta tag aux feuilles CSS ainsi que des articles d'actualités....
Catégorie : Conception de sites > Aides et tutoriels
http://outils.enaty.com/
- Script de détection des robots: CrawlTrack
CrawlTrack est une application libre (license GNU GPL), qui permet de suivre les passages des robots des moteurs de recherche sur son site internet. Les données sont présentées sous forme de tableau et de graphiques qui permettent un très bonne lisibilit...
Catégorie : Logiciels > Logiciel libre
http://www.crawltrack.info
- Robotique Concept - Achat et vente de robots industriels
Robotique Concept est spécialiste en vente et intégration de robots industriels neufs ou d'occasion et propose de nombreuses prestations métier telles que des formations à la mise en place et à l'exploitation de solutions robotisées, la programmation de robots, le transfert ou la modification d'installations robotiques existantes. Ses compétences lui permettent de prendre en charge l'intégralité des projets de robotisation, de l'étude technique à la mise en production....
Catégorie : Commerce et économie > Produits et services industriels
http://www.robotiqueconcept.com/
- Un site de robotique et de construction de robots
Robot-Maker est un site pour les passionnés de robotique et les constructeurs de robots. Robot-maker est un site qui aborde tous les aspects de l'intelligence et de la vie artificielle. Un site très bien fréquenté et qui contient des astuces pour fabriquer facilement son propre robot. Un forum avec aujourd'hui beaucoup de membres inscrits est mis à disposition des utilisateurs afin qu'ils puissent échanger autour d'une même passion....
Catégorie : Informatique > Robotique
http://www.robot-maker.com/
- Robot Blog : Le Site des Robots, de la Robotique et de leur actualité
Robot Blog vous présente les dernières actualités sur les robots et la robotique. Des articles sur les nouveautés et avancées technologiques dans le domaine robotique, mais aussi les publicités, les films traitants des Mecha ou MechWarriors, en passant par les jouets ou gadgets, les humanoïdes, les systèmes hybrides, les exosquelettes , tous les thèmes en rapport avec les robots sont traités sur ce blog, illustré de photos, vidéos et liens vers des sites connexes....
Catégorie : Informatique > Robotique
http://robotblog.free.fr/
|
