Noindex
La directive noindex, en balise meta ou en en-tête HTTP X-Robots-Tag, demande au moteur de ne pas faire figurer une page dans ses résultats.
Pourquoi c'est important
C'est le bon outil pour les environnements de préproduction, les pages de remerciement et les contenus hors sujet, là où robots.txt serait insuffisant.
Exemple
Un sous-domaine de préproduction doit combiner noindex et authentification, sans quoi il se retrouve en duplication avec le site de production.