|
Annuaire >
Internet >
Recherche d'information >
Moteurs de recherche > Définitions
Liens sponsorisés
Deep Crawl et Fresh Crawl
Définition
Les différents processus d'analyse des pages web par Googlebot, le robot de Google.Pour recenser et aussi ajouter de nouveaux sites dans son indexe, Google parcourt ("crawl") le web en utilisant un robot appelé GoogleBot. Ce robot suit les liens hypertexte de page en page. Il existait jusqu'en 2003 deux types de crawl : le deep crawl (ou full crawl) et le fresh crawl, maintenant regroupés en un seul type.
Le deep crawl était l'indexation massive du web par Googlebot au cours de laquelle il analysait en profondeur toutes les pages des sites, et répertoriait en particulier tous les liens. En général elle démarrait juste après une Google Dance et servait de base à la Google Dance qui suivait.
Le fresh crawl est l'examen quotidien du web par GoogleBot, spécialisé sur les pages récemment publiées. Suivant divers critères, une page sera visitée à une fréquence variant entre 12 h et 1 mois environ.
Google doit crawler ainsi plus de 4 milliards d'URL le plus régulièrement possible. On peut savoir si GoogleBot est venu visiter son site en regardant les fichiers log, ou encore plus facilement en installant RobotStats.
Définitions connexes
 Lien profond - SiteMaps
Autres sites sur le sujet
 Voici un autre site sur le sujet :
 RobotStats 
Auteur
 Olivier Duffez : Web Rank Info
Utilisez cette définition !
 Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :
<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> :
<a href="http://www.dicodunet.com/annuaire/def-2-deep-crawl-fresh-crawl.htm">
Deep Crawl et Fresh Crawl</a></p>
Actualité
- Logiciel qui crawl un site et recherche du Duplicate..?
Bonjour,
Je recherche un logiciel qui crawl un site à la recherche de duplicate content, en comparant avec les pages ignorées de google, est ce que ça éxiste ?
Cordialement
Edit: Existe t'il une commande pour afficher toutes les pages igno... Forum Référencement Google
- Chris Brown : "Crawl" ou l'échec d'une relation amoureuse
Après « I Can Transform Ya » avec Lil Wayne et Swizz Beatz, « Crawl » est le titre du nouveau single r'n'b US de Chris Brown, l'ex-petit ami de la chanteuse caribéenne Rihanna, tiré de son nouvel album studio fin 2009 « Graffiti ». A écouter gratuitement sur Musique-radio.com, « Crawl » est une nouvelle chanson qui s'apparente à une vraie ballade d'une incroyable intensité, celle-ci constituant le deuxième single issu du « Graffiti » de Chris Brown. Envoyé aux radios françaises, « Crawl », son nouveau hit US a été coécrit par Nasri, Adam Messinger, Luke James et...
- 6 moyens pour augmenter la fréquence de crawl sur un site
La fréquence du crawl d’un moteur de recherche est un élément à prendre en compte lors du référencement d’un site web ou d’un ensemble de pages web. En effet, si celle-ci est quasi inexistante, cela risque de prendre beaucoup plus de temps avant d’indexer les contenus, et surtout, avant de les évaluer. Ce post, sous [...]
- Revue de presse : Google et les formulaires, le nouveau design de Live et un baromètre des moteurs de recherche
Google a récemment annoncé par l'intermédiaire de ses spécialistes du crawl que les robots (crawlers) du moteur pourraient à l'avenir franchir des formulaires : jusqu'ici, les robots ne suivaient que les liens hypertextes (a href). C'est donc a priori une sacrée nouvelle. Encore faut-il se...
- Le Sitemap a-t-il une influence sur les crawlers ?
Un membre de SEOMoz a effectué un test pour vérifier si la mise en ligne d’un Sitemap avait un impact sur la fréquence de crawl des moteurs de recherche Google et Yahoo.
Après avoir effectué quelques tests en rajoutant des posts sur un blog, quelques résultats concrets sont ressortis :
Sans Sitemap, il a fallu attendre 1375 [...]
- Twiceler le bot de Cuill (Google Killer) vous crawl t-il ?
Bonjour,
Avez-vous également remarqué le spider Twiceler dans vos logs ?
Pour information, Twiceler est le bot qui indexe les pages pour Cuill.
Pour ceux qui n'auraient pas entendu parlé de ce futur moteur :
[list:7e644bb637] [url]http://www.... Forum Autres annuaires et moteurs de recherche connus
- Google dévoile une nouvelle architecture pour son moteur de recherche
Google vient de dévoiler officiellement une nouvelle version de son moteur de recherche, bâtie sur une architecture de nouvelle génération, qui a pour ambition d'améliorer toutes les composantes de son moteur : crawl par les robots, indexation et compréhension des pages, algorithme de pertinence revu et corrigé, etc. Cela présage-t-il une forte évolution du moteur [...]
- Laser Crawler
Strategically crawl around through each stage while dodging lasers to reach the mysterious food source! Dodge the lasers and get to the hole to progress to the next level.
- Adresse IP des moteurs de recherche
Bonjour,
Je pense que la question a surement dûe être posée mais bon. Je cherche des sites où je pourrais trouver les adresses IP des moteurs de recherche, de préférence tous les moteurs de recherche.
Merci.
PS : les liens que j'ai glané de-... Forum Autres annuaires et moteurs de recherche connus
- Moteurs de recherche
Un moteur de recherche est un logiciel permettant de retrouver des ressources (pages web, forums Usenet, images etc.)
lire la suite
Recherche interne
Consultez également les résultats de la recherche interne :
|
