|
Annuaire >
Internet >
Recherche d'information >
Moteurs de recherche > Définitions
Deep Crawl et Fresh Crawl
Définition
Les différents processus d'analyse des pages web par Googlebot, le robot de Google.Pour recenser et aussi ajouter de nouveaux sites dans son indexe, Google parcourt ("crawl") le web en utilisant un robot appelé GoogleBot. Ce robot suit les liens hypertexte de page en page. Il existait jusqu'en 2003 deux types de crawl : le deep crawl (ou full crawl) et le fresh crawl, maintenant regroupés en un seul type.
Le deep crawl était l'indexation massive du web par Googlebot au cours de laquelle il analysait en profondeur toutes les pages des sites, et répertoriait en particulier tous les liens. En général elle démarrait juste après une Google Dance et servait de base à la Google Dance qui suivait.
Le fresh crawl est l'examen quotidien du web par GoogleBot, spécialisé sur les pages récemment publiées. Suivant divers critères, une page sera visitée à une fréquence variant entre 12 h et 1 mois environ.
Google doit crawler ainsi plus de 4 milliards d'URL le plus régulièrement possible. On peut savoir si GoogleBot est venu visiter son site en regardant les fichiers log, ou encore plus facilement en installant RobotStats.
Définitions connexes
 Lien profond - SiteMaps
Autres sites sur le sujet
 Voici un autre site sur le sujet :
 RobotStats 
Auteur
 Olivier Duffez
 Web Rank Info
Utilisez cette définition !
 Vous pouvez recopier cette définition sur votre site à condition d'indiquer que la source est le Dico du Net, en utilisant par exemple ce code :
<p>Source <a href="http://www.dicodunet.com/">Dictionnaire en ligne</a> :
<a href="http://www.dicodunet.com/annuaire/def-2-deep-crawl-fresh-crawl.htm">
Deep Crawl et Fresh Crawl</a></p>
Actualité
- KB Crawl lance sa version 3
- Explications sur le Crawl Caching Proxy de Google ...
- KB Portal, nouveau né de KB Crawl
KB Crawl annonce officiellement la sortie de son nouveau KB Portal, qu'il présente comme le "nouveau portail de veille sur internet". KB Portal qui a été développé en étroite collaboration a[...]
- Petit changement pour Slurp (le robot de Yahoo) ...
Le robot chargé de crawler le web pour l'indexation dans le moteur de recherche Yahoo était encore rattaché à Inktomi, racheté pourtant par Yahoo il y a plusieurs années. Son nom d'hôte sera désormais[...]
- Moteurs-Référencement > La Chine bloque les moteurs de recherche, sauf Baidu ...
Selon le blog Search Engine Land, les moteurs de recherche Google, Yahoo et Microsoft sont inaccessibles depuis mer...[...]
- Logiciel qui crawl un site et recherche du Duplicate..?...
Bonjour,
Je recherche un logiciel qui crawl un site à la recherche de duplicate content, en comparant avec les pages ignorées de google, est ce que ça éxiste ?
Cordialement
Edit: Existe t'il une commande pour afficher toutes les pages igno... Forum Référencement Google
- 6 moyens pour augmenter la fréquence de crawl sur un site...
La fréquence du crawl d’un moteur de recherche est un élément à prendre en compte lors du référencement d’un site web ou d’un ensemble de pages web. En effet, si celle-ci est quasi inexistante, cela risque de prendre beaucoup plus de temps avant d’indexer les contenus, et surtout, avant de les évaluer. Ce post, sous [...]
- Revue de presse : Google et les formulaires, le nouveau design de Live et un baromètre des moteurs de recherche...
Google a récemment annoncé par l'intermédiaire de ses spécialistes du crawl que les robots (crawlers) du moteur pourraient à l'avenir franchir des formulaires : jusqu'ici, les robots ne suivaient que les liens hypertextes (a href). C'est donc a priori une sacrée nouvelle. Encore faut-il se...
- Le Sitemap a-t-il une influence sur les crawlers ?...
Un membre de SEOMoz a effectué un test pour vérifier si la mise en ligne d’un Sitemap avait un impact sur la fréquence de crawl des moteurs de recherche Google et Yahoo.
Après avoir effectué quelques tests en rajoutant des posts sur un blog, quelques résultats concrets sont ressortis :
Sans Sitemap, il a fallu attendre 1375 [...]
- Twiceler le bot de Cuill (Google Killer) vous crawl t-il ?...
Bonjour,
Avez-vous également remarqué le spider Twiceler dans vos logs ?
Pour information, Twiceler est le bot qui indexe les pages pour Cuill.
Pour ceux qui n'auraient pas entendu parlé de ce futur moteur :
[list:7e644bb637] [url]http://www.... Forum Autres annuaires et moteurs de recherche connus
- Partenaire : Derrière Google, les nouveaux moteurs de recherche...
Google possède près de 90% des parts de marché des moteurs de recherche en France. Mais derrière ce géant se cachent de nombreuses solutions alternatives : moteurs de recherche des FAI, anciens moteurs ayant connus leurs heures de gloire ou nouveaux moteurs de recherche, moins connu, mais pas forcement moins performants. Notre partenaire Infos-du-Net vient ainsi de mettre en ligne un dossier consacré à ces moteurs de recherche alternatifs. D
- BEA-Conseil, et sa marque commerciale BEA Consulting, deviennent KB Intelligence...
Bruno Etienne et Associés (BEA-Conseil), société de développement informatique et de conseil et éditeur du logiciel de veille KB Crawl, change de dénomination sociale et devient KB Intelligence....
- Yahoo Vs Google...
Très très curieux...
Vous savez tous que la plateforme à pour l'instant un PR5 (notation sur 10 de google), et pourtant google crawl beaucoup moins que Yahoo... Quand je dis moins que je devrais...
- Adresse IP des moteurs de recherche...
Bonjour,
Je pense que la question a surement dûe être posée mais bon. Je cherche des sites où je pourrais trouver les adresses IP des moteurs de recherche, de préférence tous les moteurs de recherche.
Merci.
PS : les liens que j'ai glané de-... Forum Autres annuaires et moteurs de recherche connus
- Crawl bizarre......
Salut, cesite est en train de crawler mon site comme un fou, vous savez de quoi il s'agit :?: :idea: (pas domainet**ls bien sûr)
-http://whois.domaintools.com/page-store.com
:?: :idea: Forum Le café de WebRankInfo
Sites de l'annuaire
Voici des sites figurant dans notre annuaire (inscription gratuite) :
- La Ludwave : une nouvelle nage ondulatoire hélicoïdale
Site consacré à la présentation d'une nouvelle nage, la Ludwave. Cette technique est basée sur trois phases : l'ascension avec ondulations sous l'eau, le retournement hélicoïdale avec respiration et le plongeon baleine. Cette nage est rapide, agréable et à la portée de tous. Elle utilise des appuis glissants et non pas, comme les autres nages, des appuis forts sur la paume des mains. Le site propose des videos, photos, explications afin de vous permettre de comprendre et d'apprendre la Ludwave. Une partie est consacrée aux nages traditionnelles : le papillon, la brasse, le dos et le crawl. Vous trouverez aussi un forum pour échanger et améliorer vos mouvements....
Catégorie : Sports aquatiques > Natation
http://nouvellenage.free.fr/
- Apprendre a nager, vaincre l'aquaphobie
Organisme spécialisé dans les cours pour apprendre à nager et vaincre la peur de l'eau et l'aquaphobie. Le site presente le calendrier des cours et des stages de natation, les tarifs et permet l'inscription en ligne à nos leçon de natation. Stages en soirée pour Paris et sa banlieue. Stages sur un week end pour les provinciaux....
Catégorie : Natation > Cours de natation
http://www.pied-dans-eau.fr/
- La natation pour tous les nageurs
Le site natation pour tous s'adresse à tous ceux qui veulent pratiquer la natation du débutant à l'expert, du loisir à la compétition. Vous y trouverez des exercices et conseils pour débuter et vaincre sa peur de l'eau, des pages techniques sur les 4 nages (crawl, dos, brasse et papillon) et des idées pour construire vos séances d'entraînement. D'autres aspects de la natation sont également abordés (nutrition, étirements, aquagym, bébés nageurs, formation au beesan...)...
Catégorie : Sports aquatiques > Natation
http://www.natationpourtous.com/
- Underground way : hip-hop independant
Underground way, label hip-hop independant créé par deux djs. Decouvrez et telecharger les mixtapes mixés par boucha et ekla (the fresh mix, stonesthrow addiction ...) ainsi que les morceaux produits par leurs soins....
Catégorie : Genres musicaux > Hip Hop
http://www.undergroundway.com/
- JukeBox Electro Mix en Stream Webradios
Liens et Mix en Stream dans les genres House - Deep House - Tekhouse - Techno Webradios Flash mp3 player DJ Sets Mix de soirée MP3 libre de droit Ecoutez ma sélection de mix au bureau, ou branchez votre PC sur votre ampli...
Catégorie : Genres musicaux > Musique électronique
http://olivier.sempe.club.fr/index.php
- House Music Legend - Free housemusic Download
partagez vos meilleurs mp3 house , electro house, progressive house, tech house , deep house, Tribal house ... téécharger gratuitement tous vos morceaux préférés , les titres qui marquent et ont marqué le monde de la house music. tutoriaux djiing et softs tous les jours des nouvelles mise à jours et des nouveaux mp3. le monde de la housemusic vous ouvre ses portes....
Catégorie : Genres musicaux > House
http://houselegend.com/
- Recherche assistée: hyperTags Fresh indeXweb.info
Fresh indeXweb.info, c'est une nouvelle façon de vous présenter l'info, en anticipant votre réflexion et vous proposant des résultats pré-ciblés. Fresh indeXweb.info utilise un système de tags améliorés (appelés tags² ou hyperTags), qui permettent de cibler les résultats non-seulement sur une recherche classique (de type mot clé ), mais en plus de leur apporter une nouvelle dimension en ajoutant à ces résultats plats tous les résultats de thématique rapprochée. Le principe Tags² découvre quotidiennement de nouvelles expressions, et de nouveaux liens entre expressions et thématiques, et rapproche ces éléments pour vous proposer des résultats de haute qualité. Qui plus est, tous les résultats fournis ont été vérifiés par des éditeurs humains. Aucun spam, ni aucun contenu pour adultes n'interfère dans la qualité de vos recherches....
Catégorie : Internet > Recherche d'information
http://fresh.indexweb.info/
Recherche interne
Consultez également les résultats de la recherche interne :
|
