Crawl
Le crawl est le parcours automatisé d'un site par un robot de moteur de recherche, qui suit les liens de page en page pour découvrir et relire les contenus.
Pourquoi c'est important
Une page jamais crawlée ne peut pas être indexée, donc pas classée. Maîtriser le crawl — via le maillage, le sitemap et le robots.txt — décide de ce que Google voit réellement de votre site.
Exemple
Un site de 5 000 URL dont 3 000 sont des filtres de tri gaspille son budget de crawl : Googlebot relit des variantes au lieu des pages produit.