Depuis que ChatGPT, Perplexity et Gemini citent des pages web en réponse, une question revient dans les comités de direction : faut-il fermer l’accès à ces robots via le robots.txt ? La réponse n’est pas binaire. Bloquer sans distinction peut couper une source de trafic qualifié en train de naître, tandis que tout ouvrir sans contrôle expose des pages sensibles. Voici comment trancher, ligne par ligne.
En bref
Le robots.txt ne doit bloquer les robots des IA génératives que sur des pages précises (comptes clients, panier, contenu dupliqué), pas sur un site entier : une exclusion globale prive la marque de citations dans ChatGPT, Perplexity ou les AI Overviews de Google. Chaque moteur IA a son propre user-agent (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) déclaré dans une documentation officielle, et les règles s’appliquent indépendamment de celles destinées à Googlebot ou Bingbot.
La bonne pratique consiste à auditer le fichier existant, à distinguer crawl d’indexation classique et crawl d’entraînement ou de citation IA, puis à autoriser sélectivement les pages qui doivent être trouvées par un assistant conversationnel.
Ce que le robots.txt contrôle réellement
Un fichier robots.txt donne des directives de crawl, pas des garanties d’exclusion. Google Search Central le précise : une page bloquée peut malgré tout apparaître dans les résultats si d’autres sites y font référence, simplement sans extrait de contenu. Pour retirer une page des index, il faut une balise noindex ou une protection par mot de passe, pas une ligne Disallow.
Cette nuance compte doublement avec les robots IA. Certains, comme GPTBot ou ClaudeBot, respectent le protocole d’exclusion des robots pour décider s’ils explorent une URL, mais leur usage diffère de celui d’un moteur de recherche classique : entraînement de modèle pour les uns, récupération ponctuelle de contenu pour répondre à une requête utilisateur pour les autres. Ces deux usages appellent des arbitrages différents dans le même fichier.
Les robots des IA génératives à connaître
Chaque éditeur documente son ou ses user-agents, et ces déclarations changent régulièrement : vérifier la source officielle avant de figer une règle reste indispensable. OpenAI distingue plusieurs robots dans sa documentation développeurs : GPTBot pour l’entraînement, OAI-SearchBot pour l’indexation liée à la recherche, ChatGPT-User pour les requêtes déclenchées en direct par un utilisateur dans une conversation.
Anthropic documente ClaudeBot et un robot de récupération à la demande utilisé quand Claude consulte une page pendant une conversation, avec une procédure de blocage détaillée dans son centre d’aide. Perplexity publie de son côté la liste de ses agents, dont PerplexityBot pour l’indexation et Perplexity-User pour les requêtes en temps réel initiées par un utilisateur. Google, enfin, sépare Googlebot du user-agent Google-Extended, qui seul contrôle l’usage du contenu pour entraîner les modèles Gemini, sans toucher au référencement classique.
| Éditeur | User-agent principal | Rôle |
|---|---|---|
| OpenAI | GPTBot | Entraînement des modèles |
| OpenAI | OAI-SearchBot | Indexation pour la recherche ChatGPT |
| OpenAI | ChatGPT-User | Récupération en direct pendant une conversation |
| Anthropic | ClaudeBot | Entraînement et indexation |
| Perplexity | PerplexityBot | Indexation pour les réponses citées |
| Google-Extended | Usage IA (Gemini), distinct de Googlebot |
Bloquer, autoriser ou trier : trois scénarios concrets
Trois logiques coexistent selon la nature du site et son modèle économique. Un média dont le revenu dépend des visites peut vouloir limiter l’entraînement de modèles tiers sur son contenu tout en laissant passer les robots qui déclenchent une citation avec lien vers l’article. Un site B2B qui cherche à être mentionné dans une réponse ChatGPT ou Perplexity a, à l’inverse, intérêt à rester ouvert sur ses pages de contenu et de service.
Le cas le plus fréquent en PME reste le blocage involontaire : un thème ou un plugin ajoute une règle générique qui ferme tout le répertoire à tous les robots non listés explicitement, IA comprises. Un audit régulier du fichier évite cette perte de visibilité silencieuse, souvent découverte des mois après sa mise en place.
- Site vitrine ou blog B2B : laisser ouverts les robots IA sur les pages de contenu, bloquer uniquement l’espace client et les pages techniques (recherche interne, filtres, paramètres de session).
- E-commerce : bloquer les pages panier, compte, et les URLs à facettes pour éviter le contenu dupliqué, garder ouvertes les fiches produits et les guides.
- Contenu à forte valeur éditoriale : arbitrer entraînement (GPTBot, ClaudeBot) et citation en temps réel (ChatGPT-User, Perplexity-User) séparément plutôt que de tout traiter en bloc.
Syntaxe : ce qui fonctionne, ce qui échoue
La syntaxe suit les règles du protocole d’exclusion des robots documenté par Google Search Central : un bloc par user-agent, des directives Disallow ou Allow en chemin relatif, et un fichier accessible à la racine du domaine en HTTPS. Une erreur fréquente consiste à dupliquer une règle générale User-agent: * pensant qu’elle couvre aussi les robots IA nommément cités plus bas : chaque moteur applique en priorité le bloc qui correspond exactement à son user-agent, pas le bloc générique.
| Objectif | Règle robots.txt |
|---|---|
| Bloquer l’entraînement OpenAI | User-agent: GPTBot / Disallow: / |
| Autoriser les citations en direct OpenAI | User-agent: ChatGPT-User / Allow: / |
| Bloquer Anthropic sur une section privée | User-agent: ClaudeBot / Disallow: /compte/ |
| Bloquer l’usage IA de Google sans toucher au SEO | User-agent: Google-Extended / Disallow: / |
Note terrain Lead4you
Sur les audits techniques que nous menons, le blocage des robots IA n’est presque jamais une décision : c’est un résidu d’un thème premium ou d’un plugin de sécurité configuré par défaut il y a deux ou trois ans, avant même que ces user-agents existent dans les radars. Le symptôme est net : un site correctement positionné sur Google, mais totalement absent des réponses Perplexity ou ChatGPT sur ses propres mots-clés de marque. La correction prend dix minutes ; le diagnostic, lui, demande de lire le fichier ligne par ligne plutôt que de se fier à un outil de scan automatique, qui ne signale pas toujours les blocs par user-agent nommé.
Checklist rapide
- Récupérer le fichier robots.txt en direct sur le domaine (pas une copie en cache) et le lire intégralement.
- Lister chaque user-agent explicitement nommé et vérifier qu’aucun n’est bloqué par erreur héritée d’un thème ou d’un plugin.
- Décider séparément pour l’entraînement (GPTBot, ClaudeBot) et pour la citation en direct (ChatGPT-User, Perplexity-User, PerplexityBot).
- Exclure uniquement les répertoires réellement sensibles : compte client, panier, recherche interne, environnements de test.
- Revérifier après chaque changement de thème, de plugin SEO ou de migration d’hébergement.
Demander un audit SEO/GEO gratuit
À lire ensuite
Sources et repères utiles
- Google Search Central : Introduction au robots.txt
- Google Search Central : Créer et soumettre un fichier robots.txt
- Bing Webmaster : Créer un fichier robots.txt
- OpenAI : Documentation des robots (GPTBot, ChatGPT-User, OAI-SearchBot)
- Anthropic : Centre d’aide sur le crawl et le blocage de ClaudeBot
- Perplexity : Documentation des robots (PerplexityBot, Perplexity-User)
FAQ
Faut-il bloquer tous les robots des IA génératives dans le robots.txt ?
Non, sauf cas particulier. Un blocage global retire toute chance d’être cité dans ChatGPT, Perplexity ou les AI Overviews de Google. Mieux vaut cibler les répertoires sensibles (compte, panier, pages techniques) et laisser ouvertes les pages de contenu qui doivent gagner en visibilité IA.
GPTBot et ChatGPT-User, c’est la même chose ?
Non. GPTBot sert à l’entraînement des modèles OpenAI, tandis que ChatGPT-User déclenche une récupération de page en direct quand un utilisateur pose une question dans une conversation. Une entreprise peut bloquer l’un tout en gardant l’autre ouvert.
Le robots.txt empêche-t-il une page d’apparaître dans les résultats Google ?
Pas nécessairement. Google Search Central indique qu’une page bloquée peut rester indexée si des liens externes y pointent, mais sans extrait de contenu. Pour une exclusion garantie, il faut une balise noindex, pas seulement une directive Disallow.
Comment savoir si mon site bloque déjà les robots IA sans le vouloir ?
En consultant le fichier robots.txt en direct à la racine du domaine et en cherchant chaque user-agent nommé (GPTBot, ClaudeBot, PerplexityBot, Google-Extended, etc.). Un blocage hérité d’un thème ou d’un plugin de sécurité passe souvent inaperçu plusieurs mois.
Google-Extended et Googlebot, quelle différence ?
Googlebot gère l’indexation classique pour la recherche. Google-Extended contrôle uniquement l’usage du contenu pour entraîner les modèles Gemini et alimenter certaines fonctions IA de Google, indépendamment du référencement.
Une PME doit-elle vraiment se pencher sur ce sujet maintenant ?
Oui si une partie de son trafic ou de ses prospects passe déjà par un assistant conversationnel pour rechercher un prestataire. Un audit du robots.txt fait partie des vérifications techniques de base d’un diagnostic SEO/GEO.