Aller au contenu
comparatif-hebergement

Robots d'IA et votre site : lesquels bloquer, lesquels laisser passer

Avatar de NETSOLUTION NETSOLUTION Développeur web professionnel Publié le Mis à jour le

Technique 13 min de lecture

Les robots d'IA se rangent en trois familles : ceux qui collectent des pages pour entraîner des modèles (GPTBot, ClaudeBot), ceux qui alimentent des moteurs de réponse qui citent leurs sources (OAI-SearchBot, Claude-SearchBot, PerplexityBot), et ceux qui visitent une page à la demande d'un utilisateur. Bloquer les premiers protège votre contenu ; bloquer les deuxièmes vous rend invisible dans ces moteurs.

Les robots d’IA se rangent en trois familles : ceux qui collectent des pages pour entraîner des modèles, comme GPTBot ou ClaudeBot ; ceux qui alimentent des moteurs de réponse qui citent leurs sources, comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot ; et ceux qui visitent une page à la demande d’un utilisateur. Bloquer les premiers protège votre contenu. Bloquer les deuxièmes vous rend invisible dans ces moteurs.

Ouvrez les journaux d’accès d’un site un peu visible, n’importe lequel, et vous y trouverez désormais des visiteurs aux noms étranges (GPTBot, ClaudeBot, PerplexityBot, et d’autres moins connus) qui parcourent les pages avec une régularité de métronome. Faut-il s’en inquiéter, s’en réjouir, ou simplement décider en connaissance de cause ? C’est la question que se posent beaucoup de propriétaires de sites, et la réponse dépend moins de la technique que de ce que vous attendez de votre contenu.

Trois familles de robots, trois logiques

La confusion vient souvent de là : on parle des « robots d’IA » comme d’un bloc, alors qu’ils ne font pas du tout la même chose. Les documentations officielles des éditeurs, OpenAI, Anthropic, Google et Perplexity en tête, permettent de les ranger proprement.

Première famille : les robots qui collectent des pages pour constituer les jeux de données qui servent à entraîner les modèles de langage. Votre texte devient alors une petite partie de ce que le modèle a « lu », sans que votre site soit cité au moment où quelqu’un pose une question. C’est le rôle de GPTBot chez OpenAI et de ClaudeBot chez Anthropic, et, chez Google, du jeton Google-Extended, qui ne désigne pas un robot distinct mais un usage des pages déjà parcourues.

Deuxième famille, celle des robots d’IA qui alimentent des moteurs de réponse. Quand un utilisateur pose une question dans ChatGPT, Claude ou Perplexity, l’outil peut chercher des pages pertinentes, en extraire l’information et, surtout, citer la source avec un lien. OAI-SearchBot, Claude-SearchBot et PerplexityBot jouent ce rôle, et Perplexity précise que son robot n’est pas utilisé pour entraîner des modèles.

Quant à la troisième famille, elle ne parcourt pas le web de sa propre initiative : elle agit quand un utilisateur demande explicitement à l’assistant de consulter une page. ChatGPT-User, Claude-User et Perplexity-User entrent dans cette catégorie, avec une particularité importante sur laquelle on reviendra.

Éditeur Entraînement Recherche et citations À la demande d’un utilisateur
OpenAI GPTBot OAI-SearchBot ChatGPT-User
Anthropic ClaudeBot Claude-SearchBot Claude-User
Google Google-Extended (jeton robots.txt) Googlebot, via la recherche Non documenté séparément
Perplexity Non utilisé pour l’entraînement PerplexityBot Perplexity-User

Ce que robots.txt peut, et ne peut pas, faire

Le fichier robots.txt, placé à la racine de votre site, reste l’outil de base pour dire aux robots où ils peuvent aller. Son format a été normalisé par l’IETF dans la RFC 9309, publiée en 2022, après près de trente ans d’usage informel. Chaque bloc commence par un nom de robot, suivi de ce qui lui est interdit ou autorisé.

C’est une convention, pas une serrure. Les robots des grands éditeurs déclarent la respecter : OpenAI l’indique pour GPTBot et OAI-SearchBot, Anthropic pour ses trois robots, Perplexity pour PerplexityBot. Un robot malveillant, lui, peut l’ignorer purement et simplement. Pour bloquer réellement un visiteur indésirable, il faut agir au niveau du serveur, par exemple dans le fichier .htaccess, ce que détaille le tutoriel de sécurisation du .htaccess.

Et il y a la subtilité annoncée plus haut. Les agents qui agissent à la demande d’un utilisateur ne suivent pas forcément robots.txt. OpenAI écrit que, ces actions étant initiées par un utilisateur, les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User ; Perplexity indique que son agent Perplexity-User ignore généralement ces règles. La logique invoquée est celle d’un navigateur : quand vous ouvrez une page vous-même, personne ne consulte robots.txt.

Voici, à titre d’exemple, un fichier qui bloque l’entraînement tout en laissant passer les moteurs de réponse :

# Pas d'entraînement de modèles sur ce site
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Moteurs de réponse qui citent leurs sources : bienvenus
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Allow: /

Sitemap: https://votre-domaine.fr/sitemap.xml

Adaptez les noms au fil du temps : les éditeurs ajoutent ou renomment parfois leurs robots, et leurs pages de documentation font foi.

Google : un cas à part, et souvent mal compris

Le cas de Google mérite qu’on s’y arrête, parce qu’il fait l’objet d’une idée reçue tenace. Bloquer Google-Extended ne vous fait pas disparaître de la recherche Google. La documentation est explicite : ce jeton n’a aucun effet sur l’inclusion d’un site dans la recherche, et il n’est pas utilisé comme signal de classement. Il contrôle l’usage de vos contenus pour entraîner les futurs modèles Gemini et pour ancrer leurs réponses (le « grounding ») dans d’autres produits de Google.

Il ne vous fait pas sortir, en revanche, des aperçus générés par l’IA dans la recherche elle-même. Pour Google, ces fonctionnalités font partie intégrante du moteur ; les leviers sont donc ceux de la recherche classique. Pour limiter ce qui est repris de vos pages, la documentation renvoie aux directives nosnippet, data-nosnippet, max-snippet ou noindex, avec les effets de bord qu’elles ont aussi sur l’affichage classique de vos résultats.

Google précise un autre point, que beaucoup de consultants oublient de rappeler : aucun fichier spécial destiné à l’IA, aucun balisage particulier ni aucune donnée structurée dédiée n’est nécessaire pour apparaître dans ces aperçus ou dans le mode IA. Les fondamentaux de l’indexation suffisent.

Bloquer ou laisser passer : une question de modèle économique

Face aux robots d’IA, il n’y a pas de bonne réponse universelle, et c’est précisément ce qui rend le sujet intéressant. Tout dépend de ce que votre contenu vous rapporte, et de la manière dont il vous le rapporte.

Un éditeur de presse ou un auteur dont le texte est le produit vendu a de bonnes raisons de refuser l’entraînement. Son travail nourrit des modèles qui pourront ensuite répondre à sa place, sans renvoyer de lecteurs vers lui. Pour ce profil, bloquer GPTBot, ClaudeBot et Google-Extended relève du bon sens, et la question des moteurs de réponse se discute au cas par cas.

À l’inverse, une entreprise dont le site sert à attirer des clients (artisan, commerce, cabinet, boutique en ligne) a plutôt intérêt à être lue et citée partout où ses clients cherchent. Qu’un assistant recommande votre boutique ou votre cabinet en citant votre page vaut, à mon sens, bien plus que la protection d’un texte de présentation de services. Bloquer les moteurs de réponse, dans ce cas, revient à se retirer d’un canal de recommandation qui prend de l’ampleur.

Entre les deux, beaucoup de sites choisissent la voie médiane de l’exemple ci-dessus : non à l’entraînement, oui aux moteurs qui citent leurs sources. C’est un compromis cohérent, qui permet d’apparaître dans les réponses tout en refusant de nourrir gratuitement les modèles.

Ce site a fait, pour sa part, le choix de l’ouverture complète : son contenu est conçu pour être cité, et son intérêt est d’être trouvé par ceux qui cherchent un hébergeur, quel que soit l’outil qu’ils utilisent.

Quatre profils, quatre réglages

Pour rendre tout cela concret, voici comment je raisonnerais selon le type de site. Ce ne sont pas des règles, plutôt des points de départ à ajuster.

Un blog personnel ou un site de passionné, d’abord. L’auteur écrit pour être lu, souvent sans modèle économique direct. Laisser passer les moteurs de réponse permet d’être cité ; pour l’entraînement, c’est une question de conviction personnelle plus que de stratégie, et les deux choix se défendent.

Une boutique en ligne, ensuite. Les fiches produits et les pages de catégorie gagnent à être visibles partout où des acheteurs cherchent, y compris dans les assistants qui recommandent des produits. Bloquer les moteurs de réponse serait contre-productif. Pour l’entraînement, l’enjeu est faible : une fiche produit n’a pas grand-chose à perdre à être « lue » par un modèle, sauf si vos descriptions sont un vrai travail éditorial original que vous tenez à protéger.

Un média ou un éditeur de contenus payants, à l’inverse, a de solides raisons de bloquer l’entraînement, et d’examiner de près ce que les moteurs de réponse reprennent de ses articles. Dans ce cas, les directives qui limitent les extraits, et parfois des accords négociés avec les éditeurs d’IA, entrent en jeu. C’est un terrain où le conseil juridique compte autant que le fichier robots.txt.

Côté site institutionnel ou associatif, enfin, on cherche en général la diffusion la plus large des informations : horaires, démarches, contacts. Tout ouvrir est souvent le choix le plus cohérent, puisque l’objectif est précisément que la bonne information circule, quel que soit le canal.

La charge serveur, l’argument oublié

Au-delà de la question du contenu, les robots d’IA posent celle, plus prosaïque, des ressources. Certains robots parcourent les sites de manière intensive, et sur un petit hébergement mutualisé, ces passages répétés peuvent consommer une part non négligeable du processeur et de la bande passante allouées.

Les symptômes sont connus de quiconque gère des sites : pics de charge inexpliqués à heures fixes, ralentissements pour les vrais visiteurs, avertissements de l’hébergeur sur le dépassement des ressources. Avant de blâmer le code du site, un coup d’œil aux journaux d’accès permet souvent d’identifier le coupable, qui n’est d’ailleurs pas toujours un robot d’IA.

Anthropic indique prendre en charge la directive Crawl-delay, une extension non standard de robots.txt qui demande au robot d’espacer ses visites. Tous les robots ne la respectent pas, loin de là. Pour les cas plus sérieux, la limitation au niveau du serveur ou d’un pare-feu applicatif reste la solution, et un site servi depuis un cache efficace encaisse de toute façon beaucoup mieux ces visites. Le tutoriel sur le temps de réponse serveur et le guide de l’hébergement pour gros trafic abordent ces réglages.

Être cité par les moteurs de réponse

Si vous choisissez d’accueillir les moteurs de réponse, autant leur faciliter le travail. La bonne nouvelle, c’est que ce qui les aide ressemble beaucoup à ce qui aide les lecteurs humains et le référencement classique.

Une réponse claire en début de page, formulée de façon à pouvoir être citée telle quelle. Des intertitres qui correspondent aux questions que les gens se posent. Des chiffres datés et sourcés, plutôt que des affirmations vagues. Une page qui se charge vite et dont le contenu principal est présent dans le HTML, sans dépendre d’un script lourd pour s’afficher. Rien de révolutionnaire, et c’est bien le point.

Les sites statiques ou fortement mis en cache, dont le contenu est directement lisible dans le code de la page, partent avec un avantage sur ce terrain. Le guide de l’hébergement de site statique détaille cette approche, qui a aussi l’avantage de résister sans broncher aux passages répétés des robots.

Ce qui reste flou, et ce qui va bouger

Honnêtement, beaucoup de choses restent mouvantes dans l’univers des robots d’IA. Les noms de robots changent, de nouveaux acteurs apparaissent, et les frontières entre entraînement, recherche et agents autonomes deviennent plus floues à mesure que les assistants gagnent en autonomie. Un fichier robots.txt rédigé aujourd’hui sera probablement incomplet dans un an.

Le cadre juridique, lui aussi, se construit. En Europe, la question du droit des auteurs à refuser l’utilisation de leurs contenus pour l’entraînement fait l’objet de débats et de textes en évolution, et robots.txt s’est imposé de fait comme l’un des moyens d’exprimer ce refus de façon lisible par une machine. Rien ne dit qu’il restera le seul.

Pour votre site, la démarche raisonnable tient en trois temps. Regardez d’abord qui vous rend visite, dans les journaux d’accès. Décidez ensuite, en fonction de votre modèle, ce que vous acceptez : entraînement, citation, ou les deux. Et programmez une relecture de votre robots.txt deux fois par an, en vérifiant les pages de documentation des éditeurs, qui restent la seule source fiable sur le nom et le comportement de leurs robots.

Sources consultées

  1. OpenAI, Overview of OpenAI Crawlers · consulté le 27 septembre 2026
  2. Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler? · consulté le 27 septembre 2026
  3. Google Search Central, Google's common crawlers (Google-Extended) · consulté le 27 septembre 2026
  4. Google Search Central, AI features and your website · consulté le 27 septembre 2026
  5. Perplexity, Perplexity Crawlers · consulté le 27 septembre 2026

Questions fréquentes

Bloquer Google-Extended fait-il disparaître mon site de Google ?
Non. Selon la documentation de Google, Google-Extended n'a aucun effet sur l'inclusion d'un site dans la recherche Google et n'est pas un signal de classement. Il contrôle l'utilisation de vos contenus pour entraîner les modèles Gemini et pour l'ancrage de leurs réponses dans d'autres produits de Google.
Comment empêcher ChatGPT d'entraîner ses modèles sur mon site ?
En bloquant le robot GPTBot dans votre fichier robots.txt, avec une directive Disallow qui lui est dédiée. OpenAI indique que ce robot respecte robots.txt. Vous pouvez laisser passer OAI-SearchBot en parallèle, pour continuer d'apparaître dans les résultats de recherche de ChatGPT.
Les robots d'IA respectent-ils tous robots.txt ?
Les robots de collecte et de recherche des grands éditeurs déclarent le respecter. Les agents qui visitent une page à la demande d'un utilisateur, comme ChatGPT-User ou Perplexity-User, peuvent ne pas l'appliquer, selon leur documentation. Et robots.txt reste une convention : un robot malveillant peut l'ignorer.
Faut-il un fichier spécial pour apparaître dans les réponses des IA ?
Pas pour Google : sa documentation précise qu'aucun fichier dédié à l'IA ni balisage particulier n'est nécessaire pour apparaître dans les aperçus générés par l'IA ou le mode IA. Les règles habituelles de l'indexation et un contenu clair, bien structuré, restent la base pour tous les moteurs.