Pour un petit site, tout est exploré et l'histoire du SEO technique s'arrête aux bases. Pour un site plus grand — des milliers de pages, des filtres, une boutique, du contenu généré par les utilisateurs — un nouveau problème apparaît : les pages importantes ne sont pas explorées assez souvent, ou pas indexées du tout.
Ce qu'est réellement le budget de crawl
Les moteurs allouent une quantité limitée d'exploration à chaque site, selon la rapidité de réponse du site et la valeur apparente du contenu. Le « budget de crawl » est un raccourci pour cette limite. Cela ne compte qu'à l'échelle — mais quand cela compte, le gaspiller sur des URL sans valeur signifie que vos vraies pages sont moins visitées.
Façons courantes de le gaspiller
- Une navigation à facettes générant d'innombrables URL de combinaisons de filtres.
- Des identifiants de session, des paramètres de suivi et des ordres de tri créant de nombreuses URL pour le même contenu.
- Des calendriers infinis, des archives paginées sans fin, et des pages de résultats de recherche interne laissées explorables.
- De grands nombres de redirections et de soft-404 que le robot doit tout de même traiter.
Comment le diagnostiquer
- Le rapport de couverture de la Search Console — regardez « Explorée, actuellement non indexée » et « Détectée, actuellement non indexée ». De grands nombres ici signifient que le site produit des pages que les moteurs ne jugent pas dignes d'être conservées.
- Les fichiers de log serveur — le seul relevé totalement exact de ce que les moteurs explorent réellement. Ils montrent quelles sections reçoivent de l'attention et lesquelles sont ignorées.
- Couverture d'index vs sitemap — si votre sitemap a 5 000 pages et que 1 500 sont indexées, trouvez quel type manque.
Les corrections
- Bloquez les schémas d'URL sans valeur dans le
robots.txtou avecnoindex, selon que vous voulez ou non qu'elles soient explorées. - Canonicalisez les variantes à paramètres vers l'URL propre.
- Gardez le sitemap limité aux pages canoniques et indexables, et gardez-le exact.
- Améliorez les pages « explorées mais non indexées » — elles sont généralement pauvres ou dupliquées.
- Accélérez le site ; un serveur plus rapide gagne plus d'exploration.
En bref
À l'échelle, le SEO technique consiste à ne pas gaspiller l'attention du robot : élaguez les URL sans valeur, canonicalisez les doublons, gardez le sitemap honnête, et renforcez les pages pauvres. Si votre site est grand et que des pages manquent à l'index, envoyez-nous le domaine et nous diagnostiquerons où va le budget dans le cadre d'un accompagnement SEO.