Sommaire
Vous utilisez la fonctionnalité Index (Google Search Console) ? Le rapport Pages (anciennement Couverture) communique de nombreuses informations pour vous aider à améliorer l’exploration et l’indexation de vos différentes pages web. L’onglet “Non Indexées” remonte de nombreux motifs justifiant de l’absence de vos pages dans l’index de Google. Comprendre et analyser ses différents motifs vous aidera à adopter les bons réflexes et à déployer les bons correctifs. Nous nous intéressons ici à un motif particulier : Bloquée en raison d’une demande non autorisée (401).
Pourquoi des pages renvoient un code d’état 401 ?
Pour chaque demande d’accès à une URL par un agent utilisateur (moteur de recherche ou navigateur web), le serveur qui gère votre site internet renvoie un code d’état HTTP.
Le code d’état 200 (Success) est envoyé par défaut, quand tout se passe bien et que votre page web est bien lue par le Googlebot ou bien affichée par le navigateur (Chrome, Edge, Firefox, Safari, etc.).
Les codes 4xx vous informent d’une erreur du client HTTP. Dans le cas d’un code 401 (Unauthorized), une authentification est nécessaire pour accéder à la ressource. L’erreur provient du côté du client : par défaut le navigateur web de l’internaute, et par extension le robot d’exploration du moteur de recherche qui visite votre page.
Une URL bloquée par Google Search Console sur le motif “Bloquée en raison d’une demande non autorisée (401)” ne peut pas pas être explorée et demeure non indexée. Si des pages importantes se retrouvent par erreur dans ce rapport, vous devrez réagir.
Quelles sont les différentes raisons d’une demande non autorisée (401) ?
Plusieurs explications d’origine technique peuvent expliquer un code HTTP 401.
Le problème peut parfois venir du cache ou des cookies du navigateur, qui ne sont pas à jour, sont mal chargées ou fausses. En effet, si le navigateur n’est pas en mesure d’utiliser des données d’identification valables, ou s’il n’en utilise aucune, le serveur va logiquement rejeter la demande.
Des plugins incompatibles sont parfois à l’origine d’une demande non autorisée. Une extension destinée à assurer la sécurité du site ou un pare-feu peut en effet considérer la tentative de connexion d’un navigateur ou d’un robot d’indexation comme une activité malveillante. Il ne va pas autoriser l’accès et renvoyer une erreur 401.
Parfois, une URL incorrecte ou obsolète peut aussi renvoyer un code 401 (Unauthorized).
Comment résoudre les freins SEO liés à un code 401 ?
En soi, il est normal que certaines pages de votre site internet renvoient un code 401. En effet, il n’y a rien d’étonnant pour les algorithmes des moteurs de recherche que certaines pages soient réservées à certains utilisateurs.
Google Search Console vous remonte dans le rapport “Non indexées” le motif “Bloquée en raison d’une demande non autorisée (401)” ? Plusieurs réflexes s’imposent !
Vous pouvez commencer par analyser les différentes pages qui renvoient une demande non autorisée, et vous assurer qu’aucune de ces URL n’a une vocation à être explorée, référencée et positionnée. Si c’est le cas, vous pouvez bloquer l’exploration de ces pages :
- par l’ajout d’une directive dans le fichier robots.txt
- par l’utilisation de l’attribut “nofollow” dans vos liens ou, pour les plus avancés, par l’obfuscation de liens
- par l’utilisation de la balise <meta name=”robots” content=”noindex”> sur la page en 401 (ou par l’ajout d’un entête HTTP)
- note : pensez aussi à retirer l’URL de votre fichier sitemap.
La page a vocation à être référencée ? Des correctifs techniques s’imposent ! Je vous invite alors à vous rapprocher du développeur web qui a créé votre site, ou de demander le soutien de la communauté si vous utilisez un CMS open source (WordPress, Joomla, Prestashop, etc.).