Quelle différence entre crawl budget et crawl capacity en 2026 ?

Vous savez, quand j’ai commencé à vraiment m’intéresser au SEO technique, il y a une chose qui m’a longtemps embrouillé : la différence entre crawl budget et crawl capacity. Pendant des mois, j’ai utilisé ces termes de manière interchangeable. Résultat : j’ai fait des optimisations complètement à côté de la plaque, et Google continuait de zoner mes pages les plus importantes. Bref, laissez-moi vous épargner cette erreur.

Franchement, ces deux concepts sont souvent mélangés, même par des SEOs expérimentés. Pourtant, les distinguer est crucial pour ne pas gaspiller vos efforts. Dans cet article, je vais vous expliquer ce qui les sépare, pourquoi ça compte, et comment j’ai appris à les optimiser séparément — avec des résultats concrets.

Crawl budget : définition simple et concrète

Le crawl budget, c’est le nombre de pages que Googlebot est capable d’explorer sur votre site en un temps donné. Imaginez un seau d’eau : le budget, c’est la quantité d’eau que Google peut verser sur votre site chaque jour. Si votre site a 50 000 pages mais que Google n’en crawle que 200 par jour, le budget est trop serré pour explorer tout le contenu.

Ce budget dépend de deux facteurs principaux :

1. Crawl Rate Limit : la limite technique imposée par votre serveur. Google ne veut pas le surcharger, donc il ralentit automatiquement si votre hébergement rame.
2. Crawl Demand : l’intérêt de Google pour votre site. Un site mis à jour régulièrement, avec beaucoup de backlinks, aura une forte demande ; un site poussiéreux, non.

Quand j’ai lancé un site e-commerce avec 12 000 produits, je pensais que tout serait crawlé automatiquement. Erreur. Google ne visitait que 300 URL par jour, et mes fiches les plus récentes n’étaient jamais indexées avant des semaines. Pourquoi ? Mon crawl budget était mal géré.

Crawl capacity : la limite technique que vous impose votre serveur

Et là, on touche au cœur du problème : la crawl capacity. C’est le nombre de requêtes simultanées que votre serveur peut supporter sans planter. Googlebot est poli : il ne va pas marteler votre serveur comme un bourrin. Il mesure le temps de réponse, les erreurs 5xx, la latence, et ajuste sa cadence.

Concrètement, si votre serveur met 3 secondes à répondre pour chaque page, Google va réduire drastiquement le nombre de requêtes simultanées. Résultat : même si votre crawl budget théorique est de 500 pages par jour, votre capacité réelle pourrait être de 50 pages.

Exemple chiffré de mon propre projet : sur un site vitrine avec 200 pages, aucun souci. Mais sur un site media avec 50 000 articles, j’avais un temps de réponse moyen de 2,5 secondes. Googlebot ne crawlaient que 80 pages par heure. Après avoir optimisé le cache serveur (Redis + CDN), le temps de réponse est passé à 0,4 seconde. Résultat : Google crawle maintenant 1 200 pages par heure. La capacité a été multipliée par 15.

Et le pire ? J’avais passé des semaines à optimiser mon maillage interne pour améliorer le crawl budget, sans toucher au serveur. Totalement inutile.

Comment Google calcule-t-il la crawl capacity ?

Google utilise un algorithme qui surveille en continu la santé de votre serveur. Il regarde :

• Le temps de réponse moyen (idéalement sous 200 ms)
• Le taux d’erreurs (5xx, timeout)
• Le nombre de requêtes simultanées que le serveur accepte sans ralentir

Si votre serveur montre des signes de faiblesse (ex. : pics de latence le soir), Google réduit automatiquement la cadence. Ce n’est pas un réglage manuel — du moins, pas directement. Vous pouvez le voir dans Google Search Console, mais l’ajustement est automatique.

Différence clé : le budget est une allocation, la capacité une contrainte

Bon, résumons avec un schéma mental. Le crawl budget, c’est l’enveloppe que Google vous accorde en fonction de la popularité de votre site. La crawl capacity, c’est le plafond technique que votre serveur impose.

Exemple concret : imaginons un site avec un crawl budget de 1 000 pages par jour (forte demande, contenu frais). Mais le serveur ne peut en gérer que 200 par jour sans ralentir. La capacité est le goulot d’étranglement. Google ne dépasse jamais cette limite.

À l’inverse, un site avec une capacité serveur élevée (ex. : serveur dédié, CDN) mais un faible crawl budget (site peu populaire) aura du mal à faire explorer toutes ses pages.

La crawl demand joue aussi un rôle : Google n’explorera pas un site peu populaire même si le serveur peut encaisser. Les trois facteurs interagissent en permanence.

Optimiser les deux : ce que j’ai appris en 3 ans d’erreurs

J’ai passé beaucoup de temps à optimiser le crawl budget de mes clients en supprimant des URL inutiles (paramètres de tracking, pages d’archive vides). Ça marche, mais ce n’est qu’un côté de l’équation.

Pour améliorer la crawl capacity, voici ce qui a fonctionné chez moi :

• Mise en cache aggressive : Redis pour les pages dynamiques, cache navigateur pour les assets. Résultat : temps de réponse divisé par 5.
• CDN : un CDN comme Cloudflare absorbe une partie des requêtes, surtout pour les visiteurs internationaux.
• Optimisation des requêtes SQL : sur un site WordPress avec beaucoup de plugins, les pages mettent 3 secondes à s’afficher. J’ai désactivé les plugins lourds et optimisé les index — gain de 1,5 secondes.

Mais attention : améliorer la capacité sans réduire le gaspillage de budget, c’est comme agrandir son garage sans ranger le bazar. Vous allez juste accumuler plus de pages inutiles.

L’exemple qui tue : le site à facettes

J’ai eu un client avec un site e-commerce de 100 000 URL, dont 60 % étaient des pages de catégories avec des filtres (taille, couleur, prix). Google crawler ces pages inutiles (contenu dupliqué, pas de valeur ajoutée). Résultat : le budget était gaspillé sur ces 60 000 URL, et les vraies fiches produits n’étaient jamais crawlées.

J’ai supprimé ces pages du crawl via le fichier robots.txt et ajouté des balises noindex. Le crawl budget est passé de 300 à 900 pages/jour, et la capacité serveur n’a pas changé. Pourquoi ? Parce que le nombre total de requêtes a baissé, donc le serveur pouvait répondre plus vite aux demandes restantes.

Bref, optimiser les deux ensemble, c’est la clé.

Questions fréquentes (People Also Ask)

Budget crawl c’est quoi ?

Le crawl budget est le nombre de pages que les robots de Google, appelés "Googlebot", sont capables d’explorer sur votre site en un laps de temps donné. Il est déterminé par deux facteurs : le Crawl Rate Limit (limite technique du serveur) et la Crawl Demand (popularité du site). Plus votre budget est élevé, plus vous avez de chances que vos pages soient indexées.

C’est quoi un crawl SEO ?

Le crawl SEO désigne la capacité du Googlebot à naviguer à travers un site, explorer les URL et analyser son contenu. Ce processus permet de scanner les pages, d’enregistrer leurs données pour ensuite les indexer. La fréquence varie : certains sites sont explorés chaque semaine, d’autres seulement partiellement chaque jour.

C’est quoi le crawler ?

Un crawler est un robot d’exploration utilisé par un moteur de recherche pour capter des ressources d’une page Web (texte, image, vidéo). Googlebot est le crawler de Google. Il explore les sites en suivant les liens et en analysant le contenu pour construire un index.

Qu’est-ce qu’un crawler en marketing ?

En marketing, un crawler est vu comme un outil d’analyse : il explore un site pour auditer son maillage interne, ses erreurs techniques, ou sa structure. Contrairement au crawler de Google, qui indexe pour le moteur de recherche, un crawler marketing (comme Screaming Frog) sert à diagnostiquer des problèmes SEO.

À retenir : ne choisissez pas, optimisez les deux

Pour moi, la vraie leçon, c’est que crawl budget et crawl capacity sont les deux faces d’une même pièce. Ignorer l’un au profit de l’autre, c’est comme essayer de conduire une voiture avec un moteur surpuissant mais des pneus crevés — ça n’avance pas.

Alors, par où commencer ? Si votre site a moins de 1 000 pages, ne vous inquiétez pas trop. Mais au-delà, vérifiez d’abord votre capacité serveur dans Google Search Console (onglet « Statistiques d’exploration »). Si le temps de réponse moyen dépasse 200 ms, attaquez la capacité. Ensuite, réduisez le gaspillage en supprimant les URL inutiles.

Et vous, avez-vous déjà galéré avec un crawl qui n’avançait pas ? Je suis curieux de savoir ce qui a fonctionné pour vous.