Le fichier robots.txt est une bonne source d'information pour tous les spiders qui veulent accéder à des ressources que vous ne souhaitez pas voir indexées. En fait, le principe est...
Salut à tous !
Voila depuis quelque temps que j'ai des erreurs robots.txt qui portent sur des URLs de mes sites alors que je n'ai aucun robots.txt existant sur aucun de mes sites :?
Une piste ? Bug Google ? D'autres dans le même cas ?
Merci... Forum AdSense
Depuis ce matin, je me suis aperçu que Google Webmaster Tools propose un outil d’aide à la création de fichiers robots.txt pour son site. Jusqu’à aujourd’hui, je recommandais l’utilisation de Robots Txt Generator, un service anglophone gratuit et pratique pour générer son fichier robots.txt. L’outil s’avère sobre mais pratique. Aucun souci pour définir des exceptions. [...]
salut! voila mon problème le ficher robots.txt bloque mon url. j'ai checher dans affichage puis source je ne voit pas le fichier robots.txt voila je ne suis pas un pro. merci bocoup a bientot :cry: Forum Indexation dans Google
Il est désormais possible de soumettre les sitemaps correspondants à des domaines différents mais hébergés sur hébergés sur un seul host via vos fichiers robots.txt :
- Google trouvait déja de lui même l’emplacement du sitemap via le robots.txt mais seulement pour des urls correspondantes au host sur lequel le sitemap était hébergé.
- Il a ensuite [...]
Bonjour,
Après avoir lu quelque part que nommer les dossiers à ne pas faire visiter aux robots dans le robots.txt revenait aussi à faciliter la recherche des dossiers "intéressants" aux "crackeurs" je me demande et cherche (en ... Forum Référencement Google
Des chercheurs ont découvert que les fichiers Robots.txt avaient tendance à avantager les robots d’indexation de Google...
Qu'en pensez-vous ?
[url]http://www.vnunet.fr/fr/news/2007/11/20/sites_web_les_fichiers_robots_txt_avantagent_google[/url] Forum Référencement Google
Bonjour,
le forum de smf est actuellement en construction, donc je me retourne vers vous pour savoir qu'est ce que je dois mettre dans mlon fichier robots.txt, pour que les robots puissent visiter ce qu'il y a d'important sur mon forum c'est à di... Forum Administration d'un site Web
Yahoo vient d'annoncer que son robot allait désormais gérer les options avancées du fichier robots.txt qui permet aux webmasters d'indiquer quels fichiers ou répertoires doivent être exclus du crawl.
Bonjour,
Désolé par avance que je sais que la question générale sur le fichier robots.txt a déjà été abordé de nombreuses fois.
Mais j'aurais quand même une petite question.
Sachanque que WRI est pour bon nombre d'entre nous la bible du réfé... Forum Référencement Google
Suite à la publication de l'article intitulé « Optimiser l'indexation de votre site : indiquer aux moteurs de recherche l'emplacement de votre fichier sitemap grâce au fichier robots.txt », certains internautes m'ont demandé si ce fichier peut avoir un autre contenu. Bien sur que oui, mais avant d'approfondir le contenu du fichier robots.txt, il me semble nécessaire de rappeler que ce fichier doit être placé en racine de votre site et de vous préciser l'objet de ce fichier. Le fichier robots.txt (...)
-
David Taté - Blog Internet Informatique Nouvelles Technologies
/
Indexation,
Moteur de recherche
Nous avons étudié dernièrement le contenu du fichier robots.txt et nous avons ainsi vu comment créer manuellement ce fichier. Ceux qui le souhaitent peuvent toutefois préférer recourir à un générateur en ligne de fichier robots.txt. Ce service est notamment proposé par le site Yellowpipe . Celui-ci présente en outre l'avantage de pouvoir tenter d'interdire à 135 méchants robots de crawler votre site. Ces robots se livrent notamment à la récolte d'adresses de courrier électronique afin de les (...)
-
David Taté - Blog Internet Informatique Nouvelles Technologies
/
Indexation,
Référencement,
Robots.txt,
Moteur de recherche
Maintenant que les moteurs se sont accordés pour un protocole commun de fichier SiteMap, ils simplifient la soumission de fichier sitemap en proposant d'utiliser le fichier robots.txt (qui est pourtant historiquement utilisé pour indiquer les parties que l'on ne souhaite pas indexer...).
Bonjour,
J'aimerais savoir si une ligne de code existe pour le robots.txt qui informe l'emplacement complète, soit avec le http://, du sitemap.xml de notre site ?
Mon robot est relativement simple :
User-agent: *
Disallow:
On me dit dans... Forum Débuter en référencement
Le fichier robots.txt est un outil qui donne des recommandations au moteur de recherche sur la manière dont il doit indexer votre site. Concrètement, vous lui dites tu peux indexer cette partie de mon site, mais ne parcourt pas ces répertoires car je ne désire pas qu'ils se retrouvent dans les résultats des moteurs de recherche (oui, vous pouvez lui dire tout cela).Un outil (en anglais) vous permet désormais de créer automatiquement votre fichier robots.txt en fonction de vos besoins. Très pratique si l'on ne connait pas la syntaxe et la façon de rédiger un fichier de ce type !
