Yahoo vient d'annoncer que son robot allait désormais gérer les options avancées du fichier robots.txt qui permet aux webmasters d'indiquer quels fichiers ou répertoires doivent être exclus du crawl.
Salut à tous !
Voila depuis quelque temps que j'ai des erreurs robots.txt qui portent sur des URLs de mes sites alors que je n'ai aucun robots.txt existant sur aucun de mes sites :?
Une piste ? Bug Google ? D'autres dans le même cas ?
Merci... Forum AdSense
Depuis ce matin, je me suis aperçu que Google Webmaster Tools propose un outil d’aide à la création de fichiers robots.txt pour son site. Jusqu’à aujourd’hui, je recommandais l’utilisation de Robots Txt Generator, un service anglophone gratuit et pratique pour générer son fichier robots.txt. L’outil s’avère sobre mais pratique. Aucun souci pour définir des exceptions. [...]
Que font les pires geeks avant de naviguer sur un site ?
- Ils vérifient le fichier robots.txt pour voir si ils peuvent le faire.
salut! voila mon problème le ficher robots.txt bloque mon url. j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt voila je ne suis pas un pro. merci bocoup a bientot :cry: Forum Indexation dans Google
Il est désormais possible de soumettre les sitemaps correspondants à des domaines différents mais hébergés sur hébergés sur un seul host via vos fichiers robots.txt :
- Google trouvait déja de lui même l’emplacement du sitemap via le robots.txt mais seulement pour des urls correspondantes au host sur lequel le sitemap était hébergé.
- Il a ensuite [...]
Envie de tout savoir pour bien gérer son fichier robots.txt ?
Dans ce cas, l’article intitulé “Managing Robots Access to your website” du blog Janeandrobot regroupe vraiment tout ce que vous devez savoir sur ce fameux fichier robots.txt, indispensable lors du référencement d’un site web.
La présentation est très complète et bourrée d’exemples. J’attire notamment votre attention [...]
Ce tutorial explique quels sont les textes à écrire dans un fichier robots.txt. Ce fichier doit être placé à la racine d'un site pour donner des informations aux robots.
Selon l'utilisation que vous en ferez il y a des tas de commandes que vous pouvez rédiger. L'avantage de ce tutorial c'est qu'il explique dans les grandes lignes les principales commandes, et il donne aussi des exemples concret qui sont souvent utilisé avec le robots.txt.
Bonjour,
Après avoir lu quelque part que nommer les dossiers à ne pas faire visiter aux robots dans le robots.txt revenait aussi à faciliter la recherche des dossiers "intéressants" aux "crackeurs" je me demande et cherche (en ... Forum Référencement Google
Des chercheurs ont découvert que les fichiers Robots.txt avaient tendance à avantager les robots d’indexation de Google...
Qu'en pensez-vous ?
[url]http://www.vnunet.fr/fr/news/2007/11/20/sites_web_les_fichiers_robots_txt_avantagent_google[/url] Forum Référencement Google
Bonjour,
le forum de smf est actuellement en construction, donc je me retourne vers vous pour savoir qu'est ce que je dois mettre dans mlon fichier robots.txt, pour que les robots puissent visiter ce qu'il y a d'important sur mon forum c'est à di... Forum Administration d'un site Web
Le fichier robots.txt est une bonne source d'information pour tous les spiders qui veulent accéder à des ressources que vous ne souhaitez pas voir indexées. En fait, le principe est...
Bonjour à tous,
Il y a encore 2 mois, cad après l'évolution de l'algo de Yahoo :wink: je sortais en 2e sur mon mot clé favori.
Il y a environ 1 mois, j'ai pondu mon SiteMap pour aider les moteurs et indiqué l'url du fichier dans le Robots.txt... Forum Référencement Yahoo
Le grand forum WebmasterWorld.com consacré à la création web et au référencement décide de se passer de l'aide des moteurs de recherche...
Il n'est déjà plus présent dans Google et devrait prochainement disparaitre de Yahoo! et de MSN !
Le fichier robots.txt qui interdit l'accés de ses pages aux robots crawlers.
Coup de pub ou nouvelle stratégie de communication basée sur le bouche à oreille ?
Bonjour,
Désolé par avance que je sais que la question générale sur le fichier robots.txt a déjà été abordé de nombreuses fois.
Mais j'aurais quand même une petite question.
Sachanque que WRI est pour bon nombre d'entre nous la bible du réfé... Forum Référencement Google
