De nombreux CMS appliquent par défaut des règles restrictives dans le fichier robots.txt, bloquant sans le savoir les explorateurs officiels d'OpenAI, d'Anthropic ou de Perplexity.
Les Crawlers IA Majeurs à Surveiller
- GPTBot : Le crawler d'OpenAI qui alimente ChatGPT Search.
- ClaudeBot : L'agent de recherche d'Anthropic pour Claude.
- PerplexityBot : Le moteur de recherche hybride Perplexity AI.
- Google-Extended : Le robot d'entraînement et d'enrichissement de Google Gemini.
La Configuration Optimale dans robots.txt
User-agent: GPTBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: /
Grâce à l'abonnement Surveillance WebAudit360, vous êtes immédiatement averti si une mise à jour de votre site bloque accidentellement l'un de ces crawlers stratégiques.