Budget de crawl
Le budget de crawl est le volume de pages qu'un moteur accepte d'explorer sur un domaine dans un laps de temps donné, fonction de l'autorité du site et de sa rapidité de réponse.
Pourquoi c'est important
Sur les gros sites, il devient une ressource rare. Chaque URL inutile crawlée est une page utile qui ne l'est pas — d'où l'intérêt de bloquer les paramètres, les facettes et les pages de recherche interne.
Exemple
Un catalogue e-commerce qui expose ?couleur=&taille=&tri= peut générer des dizaines de milliers d'URL pour 400 produits réels.