📌 L'info à emporter
- Common Crawl est une fondation américaine à but non lucratif créée en 2007 qui publie chaque mois une archive ouverte du web au format WARC, hébergée sur Amazon S3.
- Selon le papier de recherche OpenAI sur GPT-3 (Brown et al., arXiv, 2020), une version filtrée de Common Crawl a représenté 60 % des tokens d’entraînement de GPT-3. LLaMA, Mistral, Bloom et le corpus C4 de Google s’en servent aussi.
- Le test en trente secondes : chercher votre domaine dans l’index public sur index.commoncrawl.org. Aucune inscription, réponse immédiate.
- La check-list qui laisse CCBot passer tient en cinq réglages : autoriser CCBot dans le robots.txt, servir un sitemap XML référencé, rendre le HTML lisible sans JavaScript, exposer les PDF utiles, poser du JSON-LD Schema.org.
- Bloquer CCBot par précaution revient à sortir votre site des corpus publics et de plusieurs moteurs de recherche IA qui s’y adossent.
On vous a peut-être glissé que votre site web devait « plaire aux IA », sans jamais vous dire à quoi ce serait mesurable. Bonne nouvelle : il existe un outil public, gratuit et posé depuis quinze ans sur le web, qui répond à la question en trente secondes. Il s’appelle Common Crawl, et c’est lui qui a nourri la première génération de ChatGPT.
Je croise encore trop de dirigeants qui investissent dans la « visibilité IA » sans même savoir si leur site est lisible par les crawlers qui alimentent ces modèles. Mon rôle, c’est de vous éviter cette dépense à l’aveugle. Je vous propose un diagnostic honnête de Common Crawl : ce que c’est vraiment, comment tester votre site en une minute, et la check-list en cinq réglages qui laisse CCBot passer. Pour la vue d’ensemble de tout ce chantier, je vous renvoie aussi à mon agence SEO.
Common Crawl, le crawler open-source qui alimente les IA depuis 2008
Ce que contient l'archive : pétaoctets, milliards de pages, snapshot mensuel
Common Crawl est né en 2007 à l’initiative de Gil Elbaz, avec une idée simple : que le web soit archivé une fois, gratuitement, pour éviter que chaque chercheur ou start-up ne refasse son propre crawl.
Le résultat, c’est une archive publique publiée chaque mois. On l’appelle « CC-MAIN », elle vit sur Amazon S3 et se sert au format WARC (Web ARChive, le standard des archivistes du web). Chaque snapshot pèse plusieurs centaines de téraoctets et contient des milliards de pages web capturées telles quelles, avec trois briques :
- Le HTML brut servi par le serveur, sans exécution du JavaScript.
- Les en-têtes HTTP renvoyés à la requête (codes de statut, types de contenu).
- Les métadonnées de crawl : date de capture, URL exacte, taille du document.
La documentation officielle détaille les volumes de chaque édition sur commoncrawl.org. Autrement dit : c’est un instantané public du web ouvert, servi gratuitement, mois après mois.
Qui utilise vraiment Common Crawl ? GPT-3, LLaMA, Mistral, Bloom, C4
Le papier de recherche d’OpenAI sur GPT-3 le pose noir sur blanc : une version filtrée de Common Crawl a représenté 60 % des tokens d’entraînement du modèle, avant l’ajout de sources plus soignées comme Wikipedia et WebText2. Traduction pour votre PME : la première génération de ChatGPT a appris à parler en lisant des pages web archivées par Common Crawl.
Depuis, la liste s’est allongée. Sur les gros modèles ouverts documentés, on retrouve la même fondation :
- Le corpus C4 de Google, utilisé pour entraîner la famille T5, est une version nettoyée de Common Crawl.
- LLaMA, la famille de modèles ouverts de Meta, cite Common Crawl parmi ses sources principales.
- Bloom, produit par le consortium BigScience, s’appuie sur le corpus ROOTS qui inclut Common Crawl filtré.
- Mistral et de nombreux modèles européens sont entraînés sur des dérivés comme RefinedWeb ou FineWeb, eux-mêmes tirés de Common Crawl.
C’est aujourd’hui la source publique la plus citée dans les articles de recherche sur les grands modèles de langage. Une brique commune à toute la première génération d’IA génératives.
Pourquoi votre visibilité IA passe (souvent) par Common Crawl ?
Le rôle de CCBot dans le corpus d'entraînement des grands modèles
CCBot est le robot qui alimente l’archive Common Crawl. Il visite un site, télécharge ses pages, respecte le robots.txt et repart. Ce qu’il lit aujourd’hui devient une brique du corpus public de demain, et une brique de tous les jeux de données dérivés (C4, RefinedWeb, FineWeb) qui servent à entraîner les modèles ouverts de la prochaine génération.
Le raisonnement se retourne bien : un site que CCBot ne peut pas crawler n’entre pas dans l’archive, donc pas dans les corpus dérivés, donc rarement cité par les IA qui s’en nourrissent. Ce n’est pas la seule voie d’accès aux modèles génératifs, mais c’est celle qui reste vérifiable et publique. Elle vous donne un test factuel, gratuit et daté : trois choses rares dans le monde du GEO.
Le cas ChatGPT depuis 2023 : Common Crawl + OAI-SearchBot en parallèle
Depuis 2023, OpenAI ne se limite plus à Common Crawl. La société publie deux user-agents à autoriser explicitement, aux rôles bien distincts :
- GPTBot : collecte des données pour l’entraînement des futurs modèles ChatGPT.
- OAI-SearchBot : alimente le moteur de recherche intégré à ChatGPT (les citations affichées dans les réponses).
Leur documentation officielle vit sur platform.openai.com/docs/bots, avec les blocs IP et les user-agents à copier tels quels dans un robots.txt. Common Crawl reste donc une porte d’entrée parmi d’autres, plus une source publique de vérification. GPTBot et OAI-SearchBot en sont deux autres, plus directes mais moins mesurables : votre présence dans leur index ne se lit pas en un clic, contrairement à Common Crawl.
Common Crawl : le test en 30 secondes qui dit si votre site est dans l'index
Chercher son domaine dans l'index public (index.commoncrawl.org)
Rendez-vous sur index.commoncrawl.org. Vous voyez une liste de snapshots datés (par exemple « CC-MAIN-2026-XX »). Le mode d’emploi tient en quatre gestes :
- Cliquez sur le snapshot le plus récent de la liste : c’est celui qui reflète l’état actuel du web.
- Tapez votre domaine suivi d’un astérisque, par exemple « votresite.fr/* », pour balayer toutes les URL captées.
- Validez : le service interroge l’index et renvoie la liste des captures en quelques secondes.
- Lisez les colonnes : URL exacte, date de capture, statut HTTP, taille du document archivé.
Aucune inscription, aucune carte bancaire, aucun formulaire : trente secondes chrono. C’est la manière la plus honnête de vérifier gratuitement si votre site est lisible par les IA génératives, sans passer par les outils payants de suivi de citations dont les limites sont connues.
Lire le résultat : ce que veut dire une URL trouvée, absente ou partielle
Trois cas se présentent à l’écran, et chacun raconte une histoire différente de votre santé « IA » :
- Plusieurs dizaines d’URL avec des statuts 200 : votre site est bien archivé sur ce snapshot. C’est le cas d’école, et il n’y a rien à faire de plus qu’entretenir.
- Uniquement la page d’accueil : l’archive est partielle. CCBot n’a pas suivi vos liens internes en profondeur, souvent à cause d’un maillage cassé ou d’un rendu JavaScript trop lourd.
- Réponse vide : votre domaine n’est pas dans ce snapshot. Au mieux il apparaîtra dans le suivant, au pire il y a un blocage à lever.
Petit conseil de méthode : croisez toujours deux ou trois snapshots récents. Un domaine peut manquer un mois pour une raison technique bénigne et revenir le suivant. La bonne question, c’est la tendance sur trois à six mois, pas le résultat isolé d’un jour.
La check-list Common Crawl : les 5 réglages qui laissent CCBot passer
Autoriser CCBot dans le robots.txt (règle User-agent et Allow / Disallow)
Ouvrez « votresite.fr/robots.txt » dans votre navigateur. Cherchez une directive qui commence par « User-agent: CCBot ». Deux cas de figure :
- La directive existe et porte un Disallow: / : votre site interdit poliment à CCBot de venir, et c’est réglé au niveau du fichier. Retirez la ligne (ou remplacez-la par un « Allow: / ») et publiez. Le prochain snapshot vous prendra en compte.
- Aucune directive spécifique à CCBot : votre site l’autorise par défaut, tant qu’aucune règle générale (« User-agent: * » avec « Disallow: / ») ne bloque tout le monde.
C’est le cas normal d’un site publié sur WordPress ou tout autre CMS mainstream. La bévue à éviter : un « Disallow: / » global posé par un développeur pendant une refonte, oublié en production, et qui coupe tout le monde. C’est la cause la plus fréquente d’absence dans Common Crawl.
Servir un sitemap XML à jour, référencé dans le robots.txt
Un sitemap XML complet, référencé dans le robots.txt par une ligne « Sitemap: https://votresite.fr/sitemap.xml », aide CCBot à trouver vos pages sans se perdre dans le labyrinthe des liens. C’est aussi la meilleure alliée de Googlebot, donc l’effort est doublement utile : c’est la même hygiène technique que celle décrite dans Comment Google comprend et décide quels sites afficher sur son moteur de recherche.
Sur WordPress, un plugin SEO sérieux comme RankMath ou Yoast publie et met à jour le sitemap automatiquement. Vérifiez juste qu’il n’exclut pas volontairement des sections importantes (blog, pages piliers, ressources). Un sitemap qui vit sa vie sans jamais avoir été relu peut couper la moitié de votre site sans que vous le sachiez.
Les erreurs techniques qui rendent votre site invisible pour Common Crawl
Le contenu rendu uniquement en JavaScript côté client
CCBot ne fait pas tourner votre JavaScript. Il télécharge le HTML servi par le serveur et lit ce qu’il y trouve. Si votre site est une application React ou Vue sans rendu serveur, la page reçue ressemble à une coquille vide : quelques balises et un gros bloc de scripts. Le contenu utile, lui, reste invisible.
La solution tient en deux mots : rendu serveur (SSR) ou pré-rendu statique. C’est aussi ce qui rend votre site indexable par Google, donc le même chantier règle deux problèmes en une passe. Le test simple, sans installer d’outil : chargez votre page en navigation privée avec JavaScript désactivé. Ce que vous voyez à l’écran, c’est à peu près ce que CCBot voit. Si l’écran est blanc, il y a du travail.
Les pages derrière un formulaire, un paywall ou un cookie consent bloquant
Une page utile n’est utile qu’à condition d’être atteignable. Trois configurations coupent la route à CCBot au premier pas :
- Contenu réservé après connexion : espace client, forum privé, académie payante. CCBot n’a pas de compte, donc il ne voit rien.
- Paywall dur : une prévisualisation courte lue par le crawler, tout le reste bloqué. L’archive garde alors quelques lignes sans le corps de l’article.
- Cookie consent bloquant : un bandeau qui masque le contenu tant que l’utilisateur n’a pas cliqué renvoie un HTML trop pauvre au crawler.
Le même test qu’au paragraphe précédent vaut ici : navigation privée, JavaScript désactivé, et regardez ce qu’il reste. Si vos articles sont vides, CCBot les voit vides aussi.
PDF, images, JSON-LD : ce que Common Crawl garde vraiment de votre site
Les formats archivés : HTML, PDF, texte brut, métadonnées
Common Crawl archive principalement du HTML, mais capture aussi les fichiers PDF accessibles publiquement, les fichiers texte, et les métadonnées HTTP. Vos images ne sont pas stockées comme objets binaires, mais leurs URL et leurs balises alt sont conservées dans le HTML de la page, donc lisibles par les IA qui piochent dans l’archive.
La conséquence pratique est intéressante pour tout dirigeant qui a déjà produit de la matière : si vos ressources fortes (livres blancs, études, guides) vivent dans des PDF publics bien nommés, ils enrichissent votre présence dans l’archive. Un PDF trouvable, c’est du contenu supplémentaire cité par les IA qui piochent dans Common Crawl. Ne les cachez pas dans un espace client : sortez-en une version publique, dûment nommée, dans une page dédiée de votre site web.
Les données structurées Schema.org : pourquoi elles pèsent double pour les IA
Les blocs de JSON-LD Schema.org posés dans le « head » de vos pages voyagent avec le HTML dans les archives Common Crawl. Ce sont des données structurées, lisibles à la fois par Google et par les modèles de langage qui indexent le corpus : deux publics, un seul effort.
Le socle recommandé pour un site de PME en 2026 tient en quatre schémas de base :
- BlogPosting sur chaque article : titre, auteur, date, image de couverture.
- Person sur l’auteur : nom, biographie courte, URL de la page de présentation, réseaux sociaux.
- Organization sur l’entreprise : raison sociale, adresse, logo, moyens de contact.
- BreadcrumbList pour le fil d’Ariane : la position de la page dans l’arborescence du site.
RankMath et Yoast le font sur WordPress sans intervention lourde ; sur un site sur mesure, un développeur pose ça en quelques heures. Un effort modeste pour un gain qui joue sur les deux tableaux, Google et IA.
Common Crawl face à GPTBot, ClaudeBot, Google-Extended : qui fait quoi ?
Le tableau des bots IA à autoriser (ou pas) selon votre stratégie GEO
Cinq user-agents à connaître, et à décider de laisser passer en connaissance de cause :
| User-agent | Qui l'exploite | À quoi il sert |
|---|---|---|
| CCBot | Common Crawl Foundation | Alimente l'archive publique ouverte, réutilisée par la recherche et par les corpus d'entraînement des grands modèles. |
| GPTBot | OpenAI | Collecte des données pour l'entraînement des futurs modèles ChatGPT. |
| OAI-SearchBot | OpenAI | Alimente le moteur de recherche intégré à ChatGPT (les citations affichées dans les réponses). |
| ClaudeBot | Anthropic | Collecte des données pour Claude, dont je détaille l'écosystème dans le décryptage de Claude Fable 5 et Mythos 5. |
| Google-Extended | Décide si votre contenu peut nourrir Gemini et les fonctionnalités IA de Google (ne concerne pas l'index Google Search). |
La règle générale, si votre objectif est d’être cité par les IA : les cinq bots restent autorisés par défaut. Fermer l’un d’eux n’a de sens que sur une décision consciente, pas par pur réflexe de prudence.
Bloquer un bot IA revient à disparaître de son moteur (et souvent de son corpus)
Refuser CCBot ou GPTBot par précaution était une position défendable en 2023, quand les usages n’étaient pas clairs. En 2026, la donne a changé : ChatGPT, Gemini, Claude et Perplexity citent leurs sources, et un site absent des corpus n’est jamais cité. Ce que vous gagnez en « protection » du contenu, vous le perdez en visibilité future auprès du public qui utilise ces outils.
Le choix reste le vôtre, mais il se prend en connaissance de cause, pas par défaut technique. Un site qui bloque tout le monde par un vieux Disallow hérité fait le mauvais arbitrage sans le savoir. Ma règle personnelle : ouvrir par défaut, fermer sur choix motivé, et surtout documenter la décision dans un fichier de suivi que le successeur retrouvera.
Vous voulez savoir si votre site est déjà dans Common Crawl et dans les corpus IA, sans y passer votre week-end ?
Avec le speed audit offert, nous faisons le tri ensemble : ce qui vous rend visible, ce qui vous fait perdre du temps.
Que faire si vous n'êtes pas encore dans Common Crawl ?
Le plan de rattrapage en 3 étapes : technique, éditorial, netlinking
Trois chantiers, dans cet ordre :
- Le chantier technique : lever les blocages du robots.txt, publier un sitemap propre, rendre le HTML lisible sans JavaScript, servir les pages en HTTPS avec des codes 200. Une passe d’audit sérieuse suffit.
- Le chantier éditorial : produire des pages sur des sujets réels, avec du contenu autonome et signé, parce qu’un site vide ne mérite pas d’être crawlé. Un article court mais unique bat dix pages génériques.
- Le chantier netlinking : quelques liens depuis des sites déjà présents dans Common Crawl accélèrent votre entrée dans l’archive, exactement comme ils accélèrent la sortie du Sandbox Google. C’est la même mécanique de découverte.
Attaquez toujours dans cet ordre : un site techniquement cassé ne bénéficie ni des efforts éditoriaux ni des liens externes. On répare le tuyau avant d’ouvrir le robinet.
Le délai raisonnable pour apparaître dans le prochain snapshot mensuel
Common Crawl publie un snapshot par mois. Une fois les blocages levés, comptez entre quatre et huit semaines avant de voir vos URL apparaître dans l’index public : le temps que CCBot repasse chez vous et que le nouveau snapshot soit publié.
Rien ne presse : c’est un chantier de fondation, pas un rush de croissance. Placez-le dans votre trimestre, mesurez le résultat au bout de trois mois, et vous aurez un signal fiable de la santé « IA » de votre site. Le vrai piège serait de refaire le test tous les trois jours et de tirer des conclusions d’un snapshot manquant. La tendance seule compte.
Infographie : la check-list Common Crawl en un coup d'œil
L’infographie ci-dessous synthétise la check-list Common Crawl en cinq réglages et le test en trente secondes pour vérifier la visibilité de votre site auprès des IA.
✅ L'info à retenir
Common Crawl est l’archive publique gratuite qui permet de vérifier, en trente secondes, si votre site est lisible par les IA génératives.
- Testez votre site sur index.commoncrawl.org : trente secondes, aucune inscription, et vous savez si CCBot vous voit.
- Appliquez la check-list en cinq réglages : autoriser CCBot dans le robots.txt, publier un sitemap XML référencé, servir un HTML lisible sans JavaScript, exposer les PDF utiles, poser du JSON-LD Schema.org.
- Ne bloquez pas CCBot par défaut technique : en 2026, refuser CCBot vous sort volontairement des corpus IA et de plusieurs moteurs de réponse qui s’y adossent : un arbitrage à prendre en connaissance de cause.
- Comptez quatre à huit semaines entre la levée des blocages et l’apparition dans le prochain snapshot mensuel.
FAQ
Qu'est-ce que Common Crawl exactement ?
Common Crawl est une fondation américaine à but non lucratif créée en 2007, qui publie chaque mois une archive ouverte du web au format WARC, hébergée sur Amazon S3. Cette archive est réutilisée par la recherche académique, les start-ups et la plupart des grands modèles de langage pour construire leurs corpus d’entraînement.
Faut-il bloquer CCBot dans son robots.txt pour protéger son contenu ?
C’est un choix, pas une obligation. Bloquer CCBot sort votre site de l’archive publique, donc des corpus d’entraînement des futurs modèles et de plusieurs moteurs de recherche IA qui s’en servent. Si votre objectif est d’être cité par les IA, laissez CCBot passer par défaut ; si vous refusez toute réutilisation, bloquez-le en connaissance de cause et documentez la décision.
ChatGPT utilise-t-il encore Common Crawl aujourd'hui ?
Une version filtrée de Common Crawl a représenté 60 % des tokens d’entraînement de GPT-3 selon le papier de recherche OpenAI publié sur arXiv en 2020. Depuis, OpenAI a ajouté ses propres crawlers (GPTBot pour l’entraînement, OAI-SearchBot pour le moteur intégré à ChatGPT), mais Common Crawl reste une source publique majeure pour la recherche et pour de nombreux modèles concurrents.
Combien de temps entre une mise en ligne et la présence dans Common Crawl ?
Common Crawl publie un snapshot par mois. Après avoir levé les blocages techniques et publié un sitemap propre, comptez entre quatre et huit semaines avant de voir vos URL apparaître dans l’index public. La vérification se fait sur index.commoncrawl.org, gratuitement, en moins d’une minute.
Comment vérifier concrètement si Common Crawl a crawlé une URL précise ?
Rendez-vous sur index.commoncrawl.org, choisissez le snapshot le plus récent, tapez votre URL exacte (ou votre domaine suivi d’un astérisque pour balayer plus large) et validez. Le service renvoie la liste des captures avec les dates et les statuts HTTP correspondants. Aucune inscription, réponse en moins d’une minute.
Sources
- Language Models are Few-Shot Learners (Brown et al., arXiv, 2020) : papier de recherche OpenAI sur GPT-3, avec le tableau des sources d’entraînement (Common Crawl filtré : 60 % des tokens).
- The Latest Crawl (Common Crawl Foundation) : volumes et calendrier des snapshots mensuels au format WARC.
- OpenAI bots documentation : user-agents GPTBot et OAI-SearchBot, règles d’autorisation à copier dans le robots.txt.
