robots.txt |
Thème : Moteurs de recherche |
Liens sponsorisés
Définition
 Fichier de directives destinées aux robots des moteurs de recherche. Description
 De format texte et placé à la racine d'un site, ce fichier permet d'interdire aux robots des moteurs de recherche l'accès à certains répertoires ou à certains fichiers.
Il est possible de donner des directives spécifiques à certains robots.
On n'indique que les zones interdites. Tout le reste est considéré comme étant autorisé. Si le fichier n'existe pas, tout est autorisé.
Les robots des moteurs de recherche vont lire ce fichier régulièrement. Si les grands robots respectent à la lettre les directives, il faut savoir que d'autres ignorent les interdictions, ou pire encore utilisent ce fichier pour avoir connaissance des zones interdites qu'ils vont fouiller. Ce n'est donc certainement pas une bonne manière d'interdire l'accès à certains robots.
Auteur
 Remi Loisel
 Studio Amarante
Autres sites sur le sujet
 Voici 2 autres sites sur le sujet :
 Web Robots Pages 
 Documentation Abondance
Définitions à consulter
 Nous vous proposons de consulter également la définition des termes suivants :
- AskJeeves : AskJeeves est le robot d'indexation des moteurs de recherche Ask.com et Teoma
- Audio Video Interleave (AVI) : Format de fichier audio et vidéo
- Balises meta : Balises invisibles par l'internaute insérées dans l'entête d'une page web permettant de donner des informations sur la page (description succincte, auteur, etc.)
- Checksum : Le checksum d'un fichier est une séquence de chiffres et de lettres définissant de manière précise (mais non unique) un fichier afin de savoir si il a été alteré.
- Cloaking : Technique permettant de fournir une page différente aux moteurs de recherche de celle visible par un internaute.
- Cobol : Abréviation de COmmon Business Orientated Language.
- Comma-separated values (CSV) : CSV est un format de fichier informatique représentant des données tabulaires.
- Fichier log : Fichier regroupant l'ensemble des événements survenus sur un logiciel, une application, un serveur ou tout autre système informatique.
- Htaccess : Fichier de configuration utilisé par les serveurs tournant sous Apache.
- Htpasswd : Fichier de stockage des mots de passe, utilisé par les serveurs tournant sous Apache.
- Kids And Teens : Projet évoluant séparément du reste du répertoire DMOZ, et disposant de directives d'édition particulières. Destiné plus particulèrement aux enfants et adolescents.
- Lien mort : Un lien est dit mort si la page de destination n'est pas (ou plus) accessible.
- Liste noire : Rapporté au contexte du référencement, ceci désigne la liste des sites (ou pages) qui n´ont pas respecté certaines règles ou conditions et qui sont écartés des résultats (moteurs de recherche) ou propositions de sites (annuaires par exemple) soit temporairement soit définitivement.
- Mediapartner : Nom du robot d'indexation (crawler) de Google pour les partenaires AdSense for Content.
- MSNBot : Robot d'indexation des moteurs de recherche MSN.com et Live.com
- Nom d'hôte : Nom littéral d'un élément sur un réseau TCP/IP (ordinateur, imprimante...)
- Page satellite : Pages non visibles par les visiteurs dédiées au référencement d'un site Internet sur les moteurs de recherche.
- Pièce jointe : Il s'agit de joindre dans un courriel un fichier d'une certaine taille afin de le transmettre à son correspondant. Ce document est généralement pris dans le disque dur du pc de l'auteur du message électronique.
- Redirection : Rediriger les requêtes concernant une page ou un fichier vers une autre page ou un autre fichier
- Référencement (SEO) : Le référencement d'un site web est une notion parfois galvaudée et souvent mal connue.
Liens sponsorisés
Actualité
- Déclarer son fichier sitemap dans le fichier robots.txt ...
Maintenant que les moteurs se sont accordés pour un protocole commun de fichier SiteMap, ils simplifient la soumission de fichier sitemap en proposant d'utiliser le fichier robots.txt (qui est pourtan[...]
- Robots.txt : Yahoo supporte les options avancées ...
- Piéger les spiders et les rippers avec robots.txt ...
- Science > La nouvelle vie des robots ...
Les robots actuels et leurs performancesTout droit sortis de la science fiction, les robots sont devenus bien réels. Bilan. Dossier
Des livres pour fêter les papas.[...]
- « La demande existe pour des robots utiles et pas trop chers » ...
iRobot, le premier fabricant mondial de robots, veut surfer sur le papy boom pour développer sa gamme de robots ménagers à côté de ses machines militaires. Il va bientôt partir à la conquête du marché[...]
- Des robots de bataille enragés dans Battle Rage ...
Battle Rage est un jeu de shoot à la troisième personne développé par Destan Entertainment et produit par Teyon où le joueur contrôlera des robots géants. Les batailles entre les robots auront lieu su[...]
- Après la tempête, les robots martiens repartent ...
Immobilisés par une gigantesque tempête de poussière en juillet, les robots Spirit et Opportunity peuvent désormais reprendre leur mission.[...]
- 0246 - Superbots : super robots ...
Vous ne connaissez pas les superbots ? Ces robots sont constitués de modules tous identiques qui peuvent, de manière autonome, s'assembler, pivoter etc. Ces robots dits « polymorphiques » sont alors c[...]
- Les robots savent se montrer effrayants ...
Avec tous les adorables petits robots qui ont été présentés au CEATEC, on en oublierait un peu vite pourquoi il ne faudrait pas fabriquer de robots du tout. Parce que s’ils ne nous tuent pas à m[...]
- Des robots peuvent-ils raisonner comme des scientifiques ? ...
Des robots pourraient remplacer les chercheurs au laboratoire, du moins dans une certaine mesure.[...]
- Erreurs Robots.txt sans fichier Robots.txt...
Salut à tous !
Voila depuis quelque temps que j'ai des erreurs robots.txt qui portent sur des URLs de mes sites alors que je n'ai aucun robots.txt existant sur aucun de mes sites :?
Une piste ? Bug Google ? D'autres dans le même cas ?
Merci... Forum AdSense
- Le robots.txt d'Obama...
L'équipe de Barack Obama a sans aucun doute le génie de chuchoter à l'oreille des nerds. Le blog de Jason Kottke nous apprend que le fichier robots.txt de la Maison Blanche a été modifié aujourd'hui. Kesako, robots.txt ? C'est un fichier plac...Lire la suite | 13 commentaires
- Génération d'un fichier robots.txt avec Google...
Depuis ce matin, je me suis aperçu que Google Webmaster Tools propose un outil d’aide à la création de fichiers robots.txt pour son site. Jusqu’à aujourd’hui, je recommandais l’utilisation de Robots Txt Generator, un service anglophone gratuit et pratique pour générer son fichier robots.txt. L’outil s’avère sobre mais pratique. Aucun souci pour définir des exceptions. [...]
- Robots.txt...
Que font les pires geeks avant de naviguer sur un site ?
- Ils vérifient le fichier robots.txt pour voir si ils peuvent le faire.
- probleme avec fichier robots.txt fichier bloquer...
salut! voila mon problème le ficher robots.txt bloque mon url. j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt voila je ne suis pas un pro. merci bocoup a bientot :cry: Forum Indexation dans Google
- Soumission croisée des sitemaps via le robots.txt...
Il est désormais possible de soumettre les sitemaps correspondants à des domaines différents mais hébergés sur hébergés sur un seul host via vos fichiers robots.txt :
- Google trouvait déja de lui même l’emplacement du sitemap via le robots.txt mais seulement pour des urls correspondantes au host sur lequel le sitemap était hébergé.
- Il a ensuite [...]
- url robots.txt et GWT...
salut les gens d'ici !
j'ai mis des urls dans robots.txt pour que google ne indexe pas afin d'eviter le duplicate content... mais sur GWT, je trouve des urls bloquées alors elles existent pas dans le robots.txt ... j'explique :
page-xyxyx.htm ... Forum Indexation dans Google
Utilisez cette définition !
 Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :
<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> :
<a href="http://www.dicodunet.com/definitions/moteurs-de-recherche/robots-txt.htm">
robots.txt</a></p>
Envoyer à un ami
 Vous pouvez envoyer la définition de robots.txt à un ami.
Sites de l'annuaire
Voici des sites figurant dans notre annuaire (inscription gratuite) :
- Vente de robots mobiles programmables
Vente de robots personnels autonomes programmables, de kits robotiques personnels ou destinés à l'enseignement, tutoriels sur la robotique, la programmation et l'intelligence artificielle. Les principaux robots vendus sur Génération robots sont Lego Mindstorms NXT, Boe-Bot et SumoBot de Parallax ou le fameux kit Vex Robotics. Génération Robots propose également des tutoriels et des articles de fonds sur la programmation robotique, la robotique et l'intelligence artificielle....
Catégorie : Informatique > Robotique
http://www.generationrobots.com/
- Enaty, la boîte à outils du webmaster.
Site d'aide à la conception de sites internet orienté vers un public de webmaster débutants. Il comprend une dizaine d'outils et générateurs gratuits qui vont des meta tag aux feuilles CSS ainsi que des articles d'actualités....
Catégorie : Conception de sites > Aides et tutoriels
http://outils.enaty.com/
- Robots de piscine aux meilleurs prix
Site de vente online de robot de piscine de tous types : robot de piscine électrique, hydraulique ou pulseur de grandes marques (Polaris, Zodiac, Aquavac ou Dolphin). Tous les robots sont vendus neufs et sous garantie et sont livrés au domicile de l'acheteur par transporteur. Le choix étendu et varié qui est proposé permet de trouver un robot dans toutes fourchettes de prix et adapté aux dimensions des différents bassins....
Catégorie : Piscines, spas, saunas > Accessoires pour piscines
http://www.robots-piscine.fr/
- Robotique Concept - Achat et vente de robots industriels
Robotique Concept est spécialiste en vente et intégration de robots industriels neufs ou d'occasion et propose de nombreuses prestations métier telles que des formations à la mise en place et à l'exploitation de solutions robotisées, la programmation de robots, le transfert ou la modification d'installations robotiques existantes. Ses compétences lui permettent de prendre en charge l'intégralité des projets de robotisation, de l'étude technique à la mise en production....
Catégorie : Commerce et économie > Produits et services industriels
http://www.robotiqueconcept.com/
- Un site de robotique et de construction de robots
Robot-Maker est un site pour les passionnés de robotique et les constructeurs de robots. Robot-maker est un site qui aborde tous les aspects de l'intelligence et de la vie artificielle. Un site très bien fréquenté et qui contient des astuces pour fabriquer facilement son propre robot. Un forum avec aujourd'hui beaucoup de membres inscrits est mis à disposition des utilisateurs afin qu'ils puissent échanger autour d'une même passion....
Catégorie : Informatique > Robotique
http://www.robot-maker.com/
- Robot Blog : Le Site des Robots, de la Robotique et de leur actualité
Robot Blog vous présente les dernières actualités sur les robots et la robotique. Des articles sur les nouveautés et avancées technologiques dans le domaine robotique, mais aussi les publicités, les films traitants des Mecha ou MechWarriors, en passant par les jouets ou gadgets, les humanoïdes, les systèmes hybrides, les exosquelettes , tous les thèmes en rapport avec les robots sont traités sur ce blog, illustré de photos, vidéos et liens vers des sites connexes....
Catégorie : Informatique > Robotique
http://robotblog.free.fr/
- Script de détection des robots: CrawlTrack
CrawlTrack est une application libre (license GNU GPL), qui permet de suivre les passages des robots des moteurs de recherche sur son site internet. Les données sont présentées sous forme de tableau et de graphiques qui permettent un très bonne lisibilit...
Catégorie : Logiciels > Logiciel libre
http://www.crawltrack.info
|
