Robots.txt
Le fichier robots.txt, placé à la racine d'un domaine, indique aux robots quelles zones ils peuvent explorer.
Pourquoi c'est important
Il contrôle le crawl, pas l'indexation : une URL bloquée peut malgré tout apparaître dans les résultats si elle reçoit des liens. Pour exclure une page, il faut une directive noindex.
Exemple
Bloquer /recherche/ et les paramètres de filtre préserve le budget de crawl sur un catalogue volumineux.