robots.txt pour agents IA : comment contrôler quels bots lisent vos produits
2025-01-15·7 min read
ResearchTechnicalAI Agents
Le nouveau paysage robots.txt
Le fichier robots.txt existe depuis 1994. Mais en 2025, il a un nouveau rôle : gérer l'accès des agents IA. Les grandes entreprises d'IA ont introduit des crawlers dédiés — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, GoogleOther (Google AI) — chacun avec des comportements distincts.
Configuration recommandée pour le e-commerce
Pour la plupart des boutiques, la stratégie optimale est d'autoriser les bots IA shopping tout en restreignant l'accès aux zones sensibles (compte, checkout, panier).
L'audit AI Readiness de MerchantStamp inclut un check "robots.txt AI-friendly" qui vérifie la présence de directives explicites pour les agents IA. Lancez un scan gratuit pour voir votre statut actuel.
Évaluez votre préparation à l'IA
Voyez comment les agents IA peuvent lire vos données produit.
Lancer un audit gratuit