Deep Crawl et Fresh Crawl |
Google |
Liens sponsorisés
Définition
 Les différents processus d'analyse des pages web par GoogleBot le robot de Google. Description
 Pour recenser et aussi ajouter de nouveaux sites dans son indexe, Google parcourt ("crawl") le web en utilisant un robot appelé GoogleBot Ce robot suit les liens hypertexte de page en page. Il existait jusqu'en 2003 deux types de crawl : le deep crawl (ou full crawl) et le fresh crawl, maintenant regroupés en un seul type.
Le deep crawl était l'indexation massive du web par GoogleBot au cours de laquelle il analysait en profondeur toutes les pages des sites, et répertoriait en particulier tous les liens. En général elle démarrait juste après une Google Dance et servait de base à la Google Dance qui suivait.
Le fresh crawl est l'examen quotidien du web par GoogleBot spécialisé sur les pages récemment publiées. Suivant divers critères, une page sera visitée à une fréquence variant entre 12 h et 1 mois environ.
Google doit crawler ainsi plus de 4 milliards d'URL le plus régulièrement possible. On peut savoir si GoogleBot est venu visiter son site en regardant les fichiers log, ou encore plus facilement en installant RobotStats.
Auteur
 Olivier Duffez
 Web Rank Info
Autres sites sur le sujet
 Voici un autre site sur le sujet :
 RobotStats
Définitions à consulter
 Nous vous proposons de consulter également la définition des termes suivants :
- Agent conversationnel : Personnage virtuel dialoguant avec l'internaute afin de l'aider dans sa navigation ou son processus d'achat.
- Agent Web Ranking (AWR) : Logiciel de suivi de référencement et de positionnement dans les moteurs de recherches
- Bundle : Signifie littéralement paquet. Un bundle désigne souvent un lot d'articles destiné à la vente dans le cadre d'une offre.
- Carte mère : Une carte mère est la base de tout ordinateur personnel, c'est elle qui assure la communication entre les différents éléments du système.
- Common Object Request Broker Architecture (CORBA) : Norme industrielle multi-plateformes et multi-langages permettant de simplifier le développement d’architectures distribuées complexes.
- Data Centers : Les Google Data Centers sont les centres qui hébergent les milliers de serveurs qui constituent Google.
- Google Deskbar : Petit logiciel à installer sur un PC sous Windows, permettant de lancer des recherches sur Google à tout instant, sans quitter l'application en cours, et sans ouvrir de navigateur web.
- E-commerce : Le commerce électronique (qui se déroule sur le Web).
- Google Dance : Période de mise à jour de l'index de Google.
- Google Desktop Search : Logiciel de recherche de contenu sur PC proposé par Google.
- Google News : Service de la société Google permettant de rechercher des informations dans l'actualité en temps réel.
- Google Puffin : Nom de code du logiciel de recherche Google Desktop
- Google WebSearch : Service de publicité contextuelle de Google lié à un formulaire de recherche installé sur le site d'un affilié.
- GoogleBot : Nom du robot d'indexation de Google, qui parcourt le web de lien en lien à la recherche de nouvelles pages.
- Internet Engineering Steering Group (IESG) : Petit groupe d'experts validant (ou non) les ébauches de normes et de standards Internet qui lui sont communiquées.
- Mediapartner : Nom du robot d'indexation (crawler) de Google pour les partenaires AdSense for Content.
- MSNBot : Robot d'indexation des moteurs de recherche MSN.com et Live.com
- MX (DNS) : MX fait réference à une particularité du DNS concernant les mails, le MX d'un domaine correspondant au serveur sur lequel seront envoyés les e-mails.
- Page cachée ("en cache") : Copie d'une page web telle qu'elle a été trouvée quand Google l'a indexée, stockée sur les serveurs de Google.
- PageRank : Indice de popularité d'une page web, calculé selon un algorithme très sophistiqué, élaboré par Google.
Liens sponsorisés
Actualité
- KB Crawl lance sa version 3
- Explications sur le Crawl Caching Proxy de Google ...
- KB Portal, nouveau né de KB Crawl
KB Crawl annonce officiellement la sortie de son nouveau KB Portal, qu'il présente comme le "nouveau portail de veille sur internet". KB Portal qui a été développé en étroite collaboration a[...]
- Petit changement pour Slurp (le robot de Yahoo) ...
Le robot chargé de crawler le web pour l'indexation dans le moteur de recherche Yahoo était encore rattaché à Inktomi, racheté pourtant par Yahoo il y a plusieurs années. Son nom d'hôte sera désormais[...]
- Menthe-Fresh : mettez du frais dans votre site ! ...
Depuis le début du mois de février, un nouveau site de galerie web a vu le jour : il s'agit de Menthe-Fresh.[...]
- Volkswagen dévoile la Fox "Fresh" ...
Coup de frais sur la Fox ! Volkswagen propose un nouveau pack baptisé Fresh au tarif de 513. Pare-chocs couleur carrosserie, housses des sièges coul...[...]
- Navigon Fresh : ajouter les fonctions de son choix à son PND ...
Avec Navigon Fresh, les possesseurs de PND de la marque pourront ajouter les fonctionnalités dont ils ont envie en les téléchargeant directement.[...]
- Deep Impact filme la Terre comme un monde étranger ...
Le vaisseau spatial Deep Impact a capturé une vidéo de la Lune transitant (passant devant) la...[...]
- BAVARIA DEEP BLUE 46 ...
Nouveauté 2009 ... BAVARIA YACHTS innove avec son nouveau DEEP BLUE 46 Designed by BMW Group DesignworkUSA[...]
- Fresh UI 7.60
- Chris Brown : "Crawl" ou l'échec d'une relation amoureuse...
Après « I Can Transform Ya » avec Lil Wayne et Swizz Beatz, « Crawl » est le titre du nouveau single r'n'b US de Chris Brown, l'ex-petit ami de la chanteuse caribéenne Rihanna, tiré de son nouvel album studio fin 2009 « Graffiti ». A écouter gratuitement sur Musique-radio.com, « Crawl » est une nouvelle chanson qui s'apparente à une vraie ballade d'une incroyable intensité, celle-ci constituant le deuxième single issu du « Graffiti » de Chris Brown. Envoyé aux radios françaises, « Crawl », son nouveau hit US a été coécrit par Nasri, Adam Messinger, Luke James et...
- 6 moyens pour augmenter la fréquence de crawl sur un site...
La fréquence du crawl d’un moteur de recherche est un élément à prendre en compte lors du référencement d’un site web ou d’un ensemble de pages web. En effet, si celle-ci est quasi inexistante, cela risque de prendre beaucoup plus de temps avant d’indexer les contenus, et surtout, avant de les évaluer. Ce post, sous [...]
- Logiciel qui crawl un site et recherche du Duplicate..?...
Bonjour,
Je recherche un logiciel qui crawl un site à la recherche de duplicate content, en comparant avec les pages ignorées de google, est ce que ça éxiste ?
Cordialement
Edit: Existe t'il une commande pour afficher toutes les pages igno... Forum Référencement Google
- Laser Crawler...
Strategically crawl around through each stage while dodging lasers to reach the mysterious food source! Dodge the lasers and get to the hole to progress to the next level.
- Empecher le crawl d'un lien avec robots.txt...
PageRank, liens et redirections
Statistiques : 12 Réponses || 70 Vus
Dernier message par Madrileño
- [Problème] Indexation/Crawl d'un site...
Indexation dans Google
Statistiques : 3 Réponses || 45 Vus
Dernier message par mikaelka
- [Problème] Indexation/Crawl d'un site...
Indexation dans Google
Statistiques : 7 Réponses || 88 Vus
Dernier message par mikaelka
Utilisez cette définition !
 Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :
<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> :
<a href="http://www.dicodunet.com/definitions/google/deep-crawl-fresh-crawl.htm">
Deep Crawl et Fresh Crawl</a></p>
Envoyer à un ami
 Vous pouvez envoyer la définition de Deep Crawl et Fresh Crawl à un ami.
Sites de l'annuaire
Voici des sites figurant dans notre annuaire (inscription gratuite) :
- La Ludwave : une nouvelle nage ondulatoire hélicoïdale
Site consacré à la présentation d'une nouvelle nage, la Ludwave. Cette technique est basée sur trois phases : l'ascension avec ondulations sous l'eau, le retournement hélicoïdale avec respiration et le plongeon baleine. Cette nage est rapide, agréable et à la portée de tous. Elle utilise des appuis glissants et non pas, comme les autres nages, des appuis forts sur la paume des mains. Le site propose des videos, photos, explications afin de vous permettre de comprendre et d'apprendre la Ludwave. Une partie est consacrée aux nages traditionnelles : le papillon, la brasse, le dos et le crawl. Vous trouverez aussi un forum pour échanger et améliorer vos mouvements....
Catégorie : Sports aquatiques > Natation
http://nouvellenage.free.fr/
- Get the Fresh Crew Attitude
Toute l'actualité du chanteur québécois Gage, actualités, vidéos, photos, indiscrétions. Le Get The Fresh Crew Attitude est aussi une communauté qui se veut proche de son artiste tout en essayant de le promouvoir au plus grand nombre sur internet....
Catégorie : Musique > Artistes interprètes
http://freshcrew.kazeo.com/
- Speed king tribute to Deep purple
Speed king est un tribute-band de Deep purple. Le groupe Speed king prend son envol en octobre 2008. C'est la réunion de cinq musiciens lyonnais, fans du groupe Deep purple. Il s'agit avant tout de rendre hommage à ce groupe mythique des 70's et de tenter d'en restituer en concert toute l'énergie et la musicalité. Dans le même esprit que leurs illustres ainés, les cinq membres de Speed king se laissent la liberté d'apporter leur touche personnelle et laissent une place à l'improvisation tout en respectant bien sur les compositions originales. Le répertoire du concert est constitué des grands classiques du groupe des années 1970 à 1985 (markII et markIII), mais aussi de titres un peu moins connus de cette époque très créative....
Catégorie : Genres musicaux > Rock
http://www.speedking.fr/
- Apprendre a nager, vaincre l'aquaphobie
Organisme spécialisé dans les cours pour apprendre à nager et vaincre la peur de l'eau et l'aquaphobie. Le site presente le calendrier des cours et des stages de natation, les tarifs et permet l'inscription en ligne à nos leçon de natation. Stages en soirée pour Paris et sa banlieue. Stages sur un week end pour les provinciaux....
Catégorie : Natation > Cours de natation
http://www.pied-dans-eau.fr/
- La natation pour tous les nageurs
Le site natation pour tous s'adresse à tous ceux qui veulent pratiquer la natation du débutant à l'expert, du loisir à la compétition. Vous y trouverez des exercices et conseils pour débuter et vaincre sa peur de l'eau, des pages techniques sur les 4 nages (crawl, dos, brasse et papillon) et des idées pour construire vos séances d'entraînement. D'autres aspects de la natation sont également abordés (nutrition, étirements, aquagym, bébés nageurs, formation au beesan...)...
Catégorie : Sports aquatiques > Natation
http://www.natationpourtous.com/
- Restaurant rapide Chic'n fresh : fast food à Liège (Belgique)
Situé à Liège en Belgique, Chic'n fresh vous accueille dans un cadre chaleureux et vous invite à vous réconcilier avec la restauration rapide et/ou à emporter. Avec nous vous bénéficiez également de la qualité traiteur de nos plats préparés et de l'équilibre d'une cuisine saine et variée car votre santé est au coeur de nos préoccupations. Avec Chic'n Fresh le restaurant rapide fast food située à Liège même lorsque vous êtes pressé, vous pouvez manger équilibré. Sur place ou à emporter nous vous proposons un large choix de plats savoureux mais aussi très sains...
Catégorie : Hôtellerie restauration > Restauration rapide
http://www.chicnfresh.eu/
- Underground way : hip-hop independant
Underground way, label hip-hop independant créé par deux djs. Decouvrez et telecharger les mixtapes mixés par boucha et ekla (the fresh mix, stonesthrow addiction ...) ainsi que les morceaux produits par leurs soins....
Catégorie : Genres musicaux > Hip Hop
http://www.undergroundway.com/
- JukeBox Electro Mix en Stream Webradios
Liens et Mix en Stream dans les genres House - Deep House - Tekhouse - Techno Webradios Flash mp3 player DJ Sets Mix de soirée MP3 libre de droit Ecoutez ma sélection de mix au bureau, ou branchez votre PC sur votre ampli...
Catégorie : Genres musicaux > Musique électronique
http://olivier.sempe.club.fr/index.php
- House Music Legend - Free housemusic Download
partagez vos meilleurs mp3 house , electro house, progressive house, tech house , deep house, Tribal house ... téécharger gratuitement tous vos morceaux préférés , les titres qui marquent et ont marqué le monde de la house music. tutoriaux djiing et softs tous les jours des nouvelles mise à jours et des nouveaux mp3. le monde de la housemusic vous ouvre ses portes....
Catégorie : Genres musicaux > House
http://houselegend.com/
- Torréfacteurs maison, grains de Café vert bio et équitable
Site Internet spécialisé dans la vente en ligne de café vert, café équitable, Café bio et torréfacteurs maison. Nous sommes situés à Montréal, Canada et acceptons les paiements par Paypal et les principales cartes de crédit. Nous vendons les torréfacteurs IRoast-2, Gene Cafe et Fresh Roast 8. Vous retrouverez également les cafetières et théières Bodum...
Catégorie : Boissons > Vente de café
http://moncafevert.com/
|
