Désindexer des pages : la méthode qui fonctionne

Savoir désindexer des pages fait partie des gestes que je pratique le plus souvent en audit, et pourtant c'est presque toujours mal fait. Le réflexe habituel consiste à bloquer dans le robots.txt, ce qui produit exactement l'inverse du résultat attendu. Voici la mécanique réelle et l'outil à choisir selon le cas.

Bloquer l'exploration et bloquer l'indexation sont deux opérations distinctes, souvent confondues.

Exploration et indexation, deux choses différentes

Toute la confusion vient de là, donc autant poser les termes. L'exploration est le fait qu'un robot visite une URL et en lise le contenu. L'indexation est la décision d'enregistrer cette page et de la rendre éligible aux résultats de recherche.

Ce sont deux étapes successives et indépendantes dans leurs commandes. Le robots.txt agit sur la première : il dit au robot de ne pas visiter. La directive noindex agit sur la seconde : elle dit au moteur de ne pas conserver la page dans l'index.

D'où la conséquence qui surprend tout le monde : une page bloquée par le robots.txt peut apparaître dans les résultats. Google sait qu'elle existe parce que d'autres pages y renvoient, il n'a simplement pas pu en lire le contenu. Il l'affiche alors avec un titre déduit des liens et sans description.

Les outils à disposition

Quatre mécanismes existent, et chacun répond à un besoin précis.

• La balise meta robots noindex dans l'en-tête de la page. C'est l'outil standard pour une page HTML que l'on veut retirer de l'index.
• L'en-tête HTTP X-Robots-Tag, qui fait la même chose pour les fichiers non HTML, typiquement des PDF.
• Le robots.txt, qui empêche l'exploration. À réserver aux zones que le robot n'a aucune raison de visiter, et où l'indexation n'est pas un enjeu.
• L'outil de suppression de la Search Console, qui masque une URL des résultats pendant environ six mois. C'est une mesure d'urgence, jamais une solution.

Un cinquième cas mérite mention : la suppression pure et simple de la page, avec un code 410 plutôt qu'un 404. Le 410 indique une disparition définitive et accélère le retrait, alors que le 404 laisse entendre que la page pourrait revenir.

Le délai réel

Une directive noindex sur une page peu visitée met en général de quelques jours à plusieurs semaines à produire son effet, selon la fréquence à laquelle le robot repasse. Sur des pages profondes rarement explorées, j'ai vu ce délai dépasser deux mois.

Quelles pages désindexer

Toutes les pages d'un site n'ont pas vocation à figurer dans l'index, et cela ne pose aucun problème. Les candidates habituelles :

• Les résultats de recherche interne, qui génèrent une infinité d'URL sans valeur propre.
• Les pages de filtres et de tris qui ne correspondent à aucune demande réelle.
• Les pages de remerciement et les étapes de tunnel de commande.
• Les pages de pagination profonde sur les listings très longs, selon les cas.
• Les contenus dupliqués techniques qu'une canonique ne suffit pas à consolider.
• Les archives sans valeur, notamment les pages par date ou par étiquette sur un blog.

La question à se poser page par page : si quelqu'un arrivait sur cette page depuis un moteur, est-ce qu'il trouverait une réponse ? Si la réponse est non, la page n'a rien à faire dans l'index.

Attention toutefois à une chose : vérifiez qu'aucune de ces pages ne reçoit de liens externes avant de la retirer. Ce serait perdre inutilement de la valeur acquise, et c'est un contrôle que je fais systématiquement en audit SEO.

La canonique consolide deux pages proches, le noindex en retire une. Les deux ne répondent pas au même besoin.

L'erreur qui revient toujours

Le scénario est presque toujours identique. Quelqu'un constate que des pages inutiles sont indexées, ajoute un Disallow dans le robots.txt, et attend. Six mois plus tard, les pages sont toujours là.

La raison est mécanique : en bloquant l'exploration, on empêche le robot de revenir lire la page. S'il ne la lit plus, il ne voit jamais la directive noindex, et il conserve donc l'entrée existante dans son index faute d'information contraire.

La séquence correcte est l'inverse. On pose d'abord le noindex en laissant l'exploration ouverte. On attend que les pages sortent effectivement de l'index, ce qui se vérifie dans la Search Console. Et seulement ensuite, si l'on veut économiser du budget d'exploration, on ajoute le blocage dans le robots.txt.

La procédure que j'applique

Sur un chantier de désindexation, je procède toujours de la même façon. Je commence par lister précisément les URL concernées, en général via un explorateur croisé avec le rapport d'indexation de la Search Console.

Je vérifie ensuite qu'aucune ne reçoit de lien externe, et je traite à part celles qui en reçoivent : dans ce cas, une redirection vers une page pertinente vaut mieux qu'un retrait sec.

Je pose le noindex, en gardant l'exploration ouverte, et je laisse le temps agir. Sur un gros volume, je surveille la décroissance dans le rapport d'indexation semaine après semaine. Une fois le retrait constaté, j'ajoute le blocage robots.txt si le volume d'exploration le justifie.

Dernier point : sur des milliers d'URL, il faut souvent aider le robot à repasser, en soumettant temporairement un sitemap contenant les pages à désindexer. C'est contre-intuitif, mais efficace pour accélérer la prise en compte.

Un cas concret

Sur un site où la recherche interne était indexable, plus de 4 000 URL sans valeur figuraient dans l'index pour environ 300 pages utiles. Le nettoyage a mis sept semaines, et le rapport entre pages utiles et pages indexées est redevenu lisible.

Ce qui se passe ensuite

Une question revient toujours : désindexer améliore-t-il le positionnement des pages restantes ? La réponse honnête est qu'il n'y a pas d'effet mécanique garanti.

Ce que j'observe, en revanche, c'est un effet indirect réel. Le budget d'exploration se reporte sur les pages utiles, qui sont visitées plus souvent et dont les mises à jour sont prises en compte plus vite. Et la proportion de contenu de faible qualité sur le site diminue, ce qui compte dans l'évaluation globale.

Il ne faut donc pas attendre un bond de positions le lendemain. C'est un travail d'hygiène qui produit ses effets sur plusieurs mois, en même temps que le reste du travail éditorial.

Le piège du robots.txt

Sur les dossiers de désindexation que j'ai repris, la cause de l'échec était identique dans la quasi-totalité des cas : un blocage posé dans le robots.txt avant que le noindex ait produit son effet. Le robot ne revenait plus lire la directive.

Questions fréquentes

Le bon réflexe

À retenir en une phrase : pour désindexer des pages, il faut que le robot puisse encore les lire. Tout le reste découle de ce principe.

Le second réflexe utile consiste à traiter la cause plutôt que le symptôme. Si votre site génère des milliers d'URL sans valeur, la vraie question porte sur la configuration qui les produit, filtres, recherche interne, paramètres. Désindexer sans corriger revient à écoper.

Enfin, ne surestimez pas le gain. C'est une opération d'assainissement nécessaire, qui lève un frein sans créer d'élan. Une fois l'index propre, la progression vient d'ailleurs : du contenu, et de l'autorité acquise par une stratégie de netlinking cohérente. Et si le volume d'URL parasites vient d'un problème de structure, c'est cette structure qu'il faut revoir, comme je l'explique dans mon article sur le cocon sémantique.

Florian Roger

Consultant SEO freelance

Consultant SEO freelance depuis huit ans et certifie QASEO, j'accompagne PME et grandes marques pour gagner des positions durables sur Google. Je teste regulierement les outils du marche sur mes propres projets avant d'en parler ici.