Deep Crawl et Fresh Crawl
Définition
Les différents processus d'analyse des pages web par GoogleBot le robot de Google.
Description
Pour recenser et aussi ajouter de nouveaux sites dans son indexe, Google parcourt ("crawl") le web en utilisant un robot appelé GoogleBot Ce robot suit les liens hypertexte de page en page. Il existait jusqu'en 2003 deux types de crawl : le deep crawl (ou full crawl) et le fresh crawl, maintenant regroupés en un seul type.
Le deep crawl était l'indexation massive du web par GoogleBot au cours de laquelle il analysait en profondeur toutes les pages des sites, et répertoriait en particulier tous les liens. En général elle démarrait juste après une Google Dance et servait de base à la Google Dance qui suivait.
Le fresh crawl est l'examen quotidien du web par GoogleBot spécialisé sur les pages récemment publiées. Suivant divers critères, une page sera visitée à une fréquence variant entre 12 h et 1 mois environ.
Google doit crawler ainsi plus de 4 milliards d'URL le plus régulièrement possible. On peut savoir si GoogleBot est venu visiter son site en regardant les fichiers log, ou encore plus facilement en installant RobotStats.
Si vous avez des questions ou des commentaires à apporter à cette définition, utilisez ce formulaire, merci d'avance !
Partagez cette définition sur Google+ en cliquant sur ce bouton :
N'oubliez pas de suivre notre compte Twitter et de rejoindre les autres fans de Dicodunet sur Facebook
Auteur
Olivier Duffez : Web Rank Info
Autres sites sur le sujet
Voici un autre site sur le sujet :
RobotStats
CommentairesPour l'instant aucun commentaire n'a été ajouté. N'hésitez pas à utiliser le formulaire ci-dessous si vous avez des questions ou des précisions à apporter à cette définition.
Ajoutez votre commentaire
|