La plupart des sites invisibles dans les moteurs génératifs ne le sont pas à cause de leur contenu. Ils le sont à cause de trois lignes ajoutées dans leur robots.txt en 2023, au moment où les premiers robots d'IA sont apparus, et jamais relues depuis.

Réponse courte : chaque éditeur d'IA fait tourner plusieurs robots aux rôles distincts, et un seul d'entre eux décide de votre visibilité. Bloquer le robot d'entraînement ne vous coûte aucune citation. Bloquer le robot de recherche vous efface. Comme les deux se ressemblent, beaucoup de sites ont bloqué le second en croyant protéger leurs contenus du premier.

Voici la cartographie exacte, avec ce que disent les documentations officielles, et le fichier que nous appliquons à nos propres sites.

La distinction que presque personne ne fait

Il existe trois familles de robots derrière un moteur génératif, et les confondre est l'erreur la plus coûteuse en Generative Engine Optimization.

Les robots d'entraînement. Ils collectent du texte pour entraîner les futures versions des modèles. Les bloquer signifie « n'utilisez pas mes contenus comme matériau d'apprentissage ». Cela n'a aucun effet sur votre présence dans les réponses d'aujourd'hui.

Les robots de recherche. Ils construisent et rafraîchissent l'index que le moteur interroge quand il répond en s'appuyant sur le web. Ce sont eux qui déterminent si vous pouvez être cité. Les bloquer vous retire des réponses, sans exception.

Les robots déclenchés par l'utilisateur. Ils vont chercher une page précise parce qu'une personne, dans sa conversation, a demandé quelque chose qui la concerne. Ils conditionnent le fait que votre page soit lisible et cliquable dans l'échange.

Un site qui veut être cité doit laisser passer au minimum les deux dernières familles. Le choix sur la première est une décision de politique de contenu, pas une décision de visibilité.

OpenAI : quatre robots, un seul décide de vos citations

La documentation d'OpenAI distingue quatre agents.

  • GPTBot : entraînement des modèles de fondation. Le bloquer « indique que le contenu d'un site ne doit pas être utilisé pour entraîner des modèles d'IA génératifs ». Aucune conséquence documentée sur la visibilité.
  • OAI-SearchBot : indexation pour les fonctions de recherche de ChatGPT. C'est le robot déterminant. OpenAI écrit noir sur blanc que les sites exclus d'OAI-SearchBot « n'apparaîtront pas dans les réponses de recherche de ChatGPT », même s'ils peuvent subsister comme simples liens de navigation.
  • ChatGPT-User : visites déclenchées par une action de l'utilisateur, pas du crawl automatique. OpenAI précise qu'il « n'est pas utilisé pour déterminer si un contenu peut apparaître dans Search ».
  • OAI-AdsBot : vérification de conformité des annonces soumises, sans usage d'entraînement. Il ne visite que des pages explicitement déclarées comme publicités.

Retenez la ligne qui compte : sur ChatGPT, votre visibilité tient à OAI-SearchBot. Un site qui a bloqué GPTBot pour protéger sa propriété intellectuelle et laissé passer OAI-SearchBot reste parfaitement citable. C'est un arbitrage tout à fait tenable, et rarement expliqué comme tel dans les prestations de référencement ChatGPT.

Anthropic : trois robots depuis la clarification de la documentation

Anthropic a détaillé le rôle de ses trois agents, ce qui permet le même arbitrage fin.

  • ClaudeBot : collecte de contenus web susceptibles de contribuer à l'entraînement des modèles. Le restreindre signale que vos contenus futurs doivent être exclus des jeux d'entraînement.
  • Claude-SearchBot : parcourt le web pour améliorer la qualité des résultats de recherche. Le désactiver « empêche notre système d'indexer votre contenu », ce qui « peut réduire la visibilité et l'exactitude de votre site dans les résultats de recherche ».
  • Claude-User : récupère une page en réponse à la question d'un utilisateur. Le désactiver « empêche notre système de récupérer votre contenu en réponse à une requête utilisateur, ce qui peut réduire la visibilité de votre site » dans la recherche web déclenchée par l'utilisateur.

Là encore, la structure est la même : un robot d'entraînement dont le blocage est sans effet sur les citations, deux robots dont le blocage vous rend invisible.

Google : le contresens le plus répandu

C'est ici que se concentre la confusion, et elle vaut d'être corrigée précisément.

Google-Extended n'est pas le robot des AI Overviews. Ce n'est même pas un robot au sens strict : c'est un jeton de contrôle que les éditeurs utilisent pour décider si les contenus déjà explorés par Google peuvent servir à entraîner les futures générations de modèles Gemini, ainsi qu'à leur grounding, c'est-à-dire le fait d'ancrer une réponse générée sur des sources récupérées en direct, dans les applications Gemini et l'API Vertex AI. La documentation de Google est sans ambiguïté : « Google-Extended n'a pas d'impact sur l'inclusion d'un site dans Google Search et n'est pas utilisé comme signal de classement dans Google Search. »

Conséquence directe : bloquer Google-Extended ne vous retire pas des AI Overviews. Ces résumés s'appuient sur l'index de recherche classique, celui que Googlebot alimente. Google explique d'ailleurs que l'IA est intégrée à Search, et que le contrôle d'accès pour les éditeurs reste les directives robots.txt destinées à Googlebot.

Si vous voulez vraiment limiter ce qui apparaît de vos pages dans ces résumés, le levier documenté n'est pas Google-Extended mais les contrôles d'aperçu : nosnippet, data-nosnippet, max-snippet et noindex. Ils réduisent l'extrait repris sans vous faire sortir de l'index. Le seul moyen de disparaître complètement des AI Overviews serait de bloquer Googlebot, donc de renoncer à Google Search en entier, et personne ne veut de ce marché.

L'implication est plutôt confortable. Sur Google, la décision d'entraînement et la décision de visibilité sont réellement découplées : vous pouvez refuser l'entraînement de Gemini et rester pleinement citable dans les AI Overviews. C'est le seul éditeur qui offre cette séparation nette, et c'est aussi pourquoi les critères de sélection des AI Overviews restent ceux du référencement classique, comme nous le détaillons dans notre article sur les AI Overviews.

Perplexity et les autres moteurs

Perplexity documente deux agents.

  • PerplexityBot : conçu pour faire remonter et lier des sites dans les résultats de Perplexity. La documentation précise qu'il « n'est pas utilisé pour explorer du contenu destiné aux modèles de fondation ». Le bloquer vous retire des résultats, sans contrepartie en matière de protection des contenus. C'est le blocage le plus contre-productif de tous.
  • Perplexity-User : visites déclenchées par un utilisateur. À noter, Perplexity indique que cet agent « ignore généralement les règles de robots.txt », puisque les récupérations sont explicitement demandées par une personne.

Au-delà de ces trois éditeurs, les agents à connaître sont Applebot et Applebot-Extended pour Apple Intelligence, Bingbot qui alimente Copilot, meta-externalagent pour Meta AI, MistralAI-User, DuckAssistBot et Google-CloudVertexBot pour le grounding Vertex AI. La logique reste identifiable au suffixe : les variantes -Extended concernent l'entraînement, les variantes -User la visite à la demande.

Trois postures possibles, à choisir consciemment

Tout ouvrir. La posture par défaut pour une entreprise dont l'objectif est la visibilité et dont le contenu est un actif marketing, pas un produit vendu. C'est notre recommandation dans la grande majorité des cas.

Ouvrir la recherche, fermer l'entraînement. La posture des éditeurs et des médias dont le contenu est le produit. Vous autorisez OAI-SearchBot, Claude-SearchBot, PerplexityBot et les agents utilisateur, et vous bloquez GPTBot, ClaudeBot, Google-Extended et Applebot-Extended. Vous restez citable tout en refusant d'alimenter les modèles. Cet arbitrage est le vrai apport de la granularité actuelle des documentations.

Tout fermer. Défendable pour un site sous contrainte réglementaire ou de confidentialité. Il faut simplement l'assumer : c'est un renoncement à toute visibilité générative, et c'est trop souvent une décision prise par défaut plutôt que choisie.

Le robots.txt que nous appliquons

Voici la structure que nous utilisons, en ouverture complète, avec des commentaires qui rappellent le rôle de chaque agent.

User-agent: *
Allow: /

# OpenAI
User-agent: GPTBot          # entraînement
Allow: /
User-agent: OAI-SearchBot   # recherche ChatGPT, décisif pour les citations
Allow: /
User-agent: ChatGPT-User    # visite à la demande
Allow: /

# Anthropic
User-agent: ClaudeBot       # entraînement
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Google : entraînement Gemini uniquement, sans effet sur Search
User-agent: Google-Extended
Allow: /

Sitemap: https://www.agencegeoparis.com/sitemap.xml

Deux remarques pratiques. Les directives Allow: / sont redondantes avec un User-agent: * déjà permissif : elles ne servent à rien techniquement, mais elles rendent l'intention explicite et évitent qu'un futur intervenant ajoute un blocage global sans voir la conséquence. Ensuite, robots.txt gouverne l'accès, pas la citation. Il ouvre la porte, il ne vous rend pas citable pour autant, ce qui reste un travail de structure et d'autorité.

Le piège invisible : le blocage au niveau du CDN

Un robots.txt impeccable ne garantit rien si l'infrastructure bloque en amont. C'est le cas de figure que nous rencontrons le plus souvent en audit GEO, et il est presque toujours involontaire.

Depuis juillet 2025, Cloudflare bloque par défaut les crawlers d'IA pour les nouveaux domaines, dans le cadre de son modèle d'autorisation et de rémunération du crawl. Le blocage opère au niveau du réseau : le robot reçoit une erreur avant même d'avoir lu votre robots.txt. Vous pouvez donc autoriser explicitement OAI-SearchBot dans votre fichier et rester totalement inaccessible.

Les pare-feu applicatifs, les règles anti-bot agressives et les protections anti-scraping produisent le même effet. Le symptôme est reconnaissable : aucune trace des user-agents IA dans vos logs, alors que votre robots.txt est ouvert. Si vous êtes sur Cloudflare, vérifiez vos réglages de gestion des robots d'IA dans le tableau de bord, pas seulement votre fichier.

Comment vérifier que ça fonctionne vraiment

Les testeurs de robots.txt vous confirment la syntaxe, pas le passage réel des robots. La seule source de vérité, ce sont vos logs serveur.

Filtrez sur les user-agents OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot et GPTBot, sur les trente derniers jours, et regardez deux choses : lesquels passent, et quels codes HTTP ils reçoivent. Un robot qui reçoit des 403 est bloqué en amont. Un robot totalement absent des logs ne vous connaît pas encore, ce qui pose une question de découvrabilité et non d'autorisation.

Ce contrôle prend une dizaine de minutes et invalide régulièrement des mois de travail éditorial mené sur un site inaccessible. C'est la même méthode qui permet de constater que personne ne lit votre llms.txt. Intégrez-la à votre suivi régulier, au même titre que le rapport IA générative de la Search Console. C'est ce croisement entre logs et données déclaratives qui distingue une démarche SEO et IA unifiée d'une simple optimisation on-site.

Questions fréquentes

Bloquer GPTBot me retire-t-il de ChatGPT ? Non. GPTBot ne concerne que l'entraînement des modèles. Votre visibilité dans les réponses de ChatGPT dépend d'OAI-SearchBot, et accessoirement de ChatGPT-User pour les visites déclenchées par un utilisateur. C'est la confusion la plus fréquente et la plus coûteuse.

Bloquer Google-Extended me retire-t-il des AI Overviews ? Non. Google indique que ce jeton n'a aucun impact sur l'inclusion dans Google Search ni sur le classement. Les AI Overviews s'appuient sur l'index alimenté par Googlebot. Pour limiter ce qui est repris de vos pages, le levier documenté est du côté des contrôles d'aperçu (nosnippet, data-nosnippet, max-snippet, noindex), pas de Google-Extended.

Faut-il autoriser les agents en -User ? Oui, si vous voulez que votre page soit récupérée et liée quand un utilisateur pose une question qui vous concerne. Notez que Perplexity indique ignorer généralement robots.txt pour ces récupérations, puisqu'elles sont explicitement demandées par une personne.

Un blocage passé est-il rattrapable ? Oui, et plutôt vite pour les robots de recherche : ils repassent régulièrement et réindexent. Pour l'entraînement, l'effet est plus lent par nature, puisqu'il dépend du cycle de publication des modèles.

Dois-je créer un llms.txt en complément ? Ce sont deux sujets sans rapport, et le second est bien moins utile qu'on ne le dit. Nous avons détaillé les données disponibles dans notre analyse de llms.txt.

Le robots.txt reste le fichier le plus déterminant et le moins relu d'une stratégie de visibilité IA. Il ne fera jamais de vous une source citée, mais il peut à lui seul vous rendre invisible, et sa correction est l'intervention au meilleur rapport effort résultat de tout le GEO.

Si vous voulez savoir quels robots passent réellement sur votre site et lesquels reçoivent une porte fermée, c'est le premier point que nous vérifions dans notre diagnostic de visibilité IA.