Accès Bots IA
v1.12+ EXCLUSIVITÉ LIVADAContrôlez directement depuis WordPress quels crawlers IA peuvent lire votre site. Diagnostic live HTTP par bot, blocage strict serveur, robots.txt enrichi — la promesse « Et dans l'IA. » rendue mesurable et configurable.
1 Pourquoi cette fonctionnalité existe
ChatGPT, Claude, Perplexity, Gemini, Copilot — quand un utilisateur leur pose une question, ces assistants crawlent en direct des dizaines de sites pour construire leur réponse et citer les sources. Mais la majorité des sites WordPress bloquent ces bots par défaut (configuration Cloudflare héritée, WAF de l'hébergeur, robots.txt managé) — sans que le propriétaire du site le sache.
Votre site peut être 100/100 SEO, votre contenu peut être parfait — si Cloudflare ou votre hébergeur bloque GPTBot/ClaudeBot, vous n'apparaîtrez jamais dans les réponses IA. Et vous ne le saurez pas.
Un diagnostic live vous dit en 10 secondes exactement quel bot passe (200) ou est bloqué (403). Vous voyez où agir, et vous contrôlez l'accès directement depuis WordPress.
Aucun autre plugin SEO WordPress (Yoast, Rank Math, SEOPress, AIOSEO) n'expose ce contrôle. La feature « Accès Bots IA » est exclusive à Livada SEO.
2 Comment ça marche
La fonctionnalité combine 3 mécanismes complémentaires :
- 1 robots.txt enrichi
Le plugin réécrit votre
robots.txtavec un bloc expliciteUser-agent+Allow: /ouDisallow: /par bot. Aucune ambiguïté pour les crawlers respectueux. - 2 Blocage strict (HTTP 403 réel)
Pour les scrapers qui ignorent
robots.txt(SEO scrapers concurrents, scrapers opaques), le plugin renvoie un vrai HTTP 403 depuis PHP au niveauparse_request— bien avant le chargement du thème ou des requêtes DB. Impact performance négligeable (une comparaison de chaîne user-agent par requête). - 3 Diagnostic live (curl par bot)
Un clic sur « Lancer le diagnostic live » envoie une requête HTTP réelle vers votre site avec le user-agent exact de chaque bot et affiche le code HTTP retourné (coloré vert / jaune / rouge). Si un bot autorisé dans le plugin retourne 403, le blocage vient de l'edge (Cloudflare AI Crawl Control, WAF de l'hébergeur) — pas de WordPress. Le diagnostic vous dit où chercher.
3 Diagnostic live — la démo qui convainc en 30 secondes
Sur la page admin Livada SEO → Accès Bots IA, le bouton « Lancer le diagnostic live (tester tous les bots) » exécute en ~10-30 secondes une requête HTTP par bot avec son user-agent réel. Pour chaque bot, vous voyez :
Cas d'usage typique : vous avez activé tous les bots IA dans le plugin, le diagnostic montre Googlebot 200, mais ClaudeBot / PerplexityBot / GPTBot tous en 403. Diagnostic immédiat : votre CDN (Cloudflare ou hébergeur) bloque l'IA. Direction le panneau « AI Crawl Control » de votre CDN pour autoriser.
4 Mode blocage strict (Hard block)
robots.txt est une directive :
les bots respectueux (Googlebot, GPTBot, Claude) l'obéissent. Mais les scrapers
SEO concurrents (SemrushBot, AhrefsBot, Majestic MJ12bot, Moz DotBot, DataForSeoBot,
BLEXBot, PetalBot Huawei) ignorent volontairement robots.txt et continuent
à pomper votre bande passante sans vous envoyer aucun visiteur.
Le mode blocage strict (activé par défaut) renvoie un vrai HTTP 403 depuis PHP à ces scrapers. La requête est arrêtée au niveau du serveur, avant tout chargement de thème ou requête base de données.
| Comportement | robots.txt seul | Hard block |
|---|---|---|
| Bot respectueux (Googlebot, GPTBot) | Obéit ✓ | Obéit ou 403 ✓ |
| Scraper SEO (SemrushBot, AhrefsBot) | Ignore, continue ✗ | HTTP 403 ✓ |
| Coût performance par requête | 0 ms | ~0.1 ms (string match) |
5 Les 33 bots couverts, classés en 6 catégories
Moteurs de recherche
Googlebot · Bingbot · Applebot · DuckDuckBot
Crawlers classiques. Ne les bloquez jamais sauf cas spécifique.
Citation IA
OAI-SearchBot · ChatGPT-User · PerplexityBot · Perplexity-User · ClaudeBot · Claude-SearchBot · Claude-User · MistralAI-User · DuckAssistBot · Meta-ExternalFetcher
Assistants IA qui crawlent à la demande pour citer votre site. C'est le cœur de la visibilité « Et dans l'IA ».
Entraînement IA
GPTBot · CCBot · Google-Extended · anthropic-ai · Amazonbot · Bytespider · FacebookBot · Meta-ExternalAgent · Google-CloudVertexBot · cohere-ai
Alimentent le corpus d'entraînement des modèles. Allowing = votre site devient "connu" des futurs modèles. Bloquer = vous protégez votre contenu propriétaire.
Archives
archive.org_bot (Wayback Machine)
Archives publiques. Utile pour l'historique de marque.
Scrapers SEO (outils concurrents)
SemrushBot · AhrefsBot · MJ12bot · DotBot · DataForSeoBot · BLEXBot · PetalBot
Outils utilisés par vos concurrents pour espionner votre SEO. Ils consomment votre bande passante sans vous envoyer aucun visiteur. Bloqués par défaut dans Livada SEO.
Scrapers opaques
Anchor Browser
Bots à l'identité opaque, souvent utilisés comme relais par des scrapers de données.
6 Exemple de robots.txt généré
Voici un extrait du robots.txt
que Livada SEO génère automatiquement (33 blocs au total, 1 par bot) :
User-agent: *
Allow: /
Disallow: /wp-admin/
Sitemap: https://votresite.fr/sitemap.xml
# Livada SEO — AI bot access control
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
# ... 23 autres bots autorisés ...
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: MJ12bot
Disallow: /
# ... autres scrapers SEO bloqués ...7 Et si mon CDN bloque encore après config ?
Si le diagnostic live retourne 403 sur un bot que vous avez autorisé dans Livada SEO, le blocage vient de l'edge (CDN ou WAF de l'hébergeur), pas de WordPress. Voici les endroits à vérifier selon votre stack :
Dashboard → votre domaine → AI Crawl Control (ou Security → Bots → AI Audit). Vérifiez que le toggle "Block AI crawlers" est sur Do not block, ou décochez individuellement les bots à autoriser.
hpanel → Sécurité → Bots. Si vous utilisez l'intégration Cloudflare automatique de Hostinger, le contrôle se fait dans le compte CF partner — pour reprendre le contrôle, migrez le domaine vers votre propre compte Cloudflare (nameservers personnels).
Manager → IP / Anti-DDoS → vérifiez qu'aucune règle WAF managé ne bloque les user-agents IA.
8 Questions fréquentes
Quel est le coût performance du blocage strict ? ▾
Négligeable. Le hook s'exécute sur parse_request (priorité 1)
avant tout chargement de thème, de plugin lourd ou de requête DB. La logique fait une
simple comparaison de chaîne user-agent contre la registry (33 entrées max).
Mesure typique : <0.1 ms par requête.
Est-ce que ça bloque les vrais utilisateurs ? ▾
Non. Le match se fait sur des user-agent de bots très spécifiques
(ex: SemrushBot/7). Aucun navigateur réel ne contient ces strings.
Vérifié sur 5 sites de production : 0 faux positif.
Que se passe-t-il si je désactive le plugin ? ▾
Le robots.txt enrichi revient au défaut WordPress et les hooks PHP sont retirés. Aucune trace résiduelle. Le plugin est non-invasif.
Comment savoir si mes pages sont citées par les IA aujourd'hui ? ▾
Le diagnostic live de Livada SEO vous dit si l'accès technique est possible (200 vs 403). Pour mesurer la citation effective, vous pouvez (1) consulter vos logs serveur (lignes avec user-agent IA), (2) demander dans ChatGPT / Perplexity / Claude une question dont la réponse implique votre marque, (3) configurer un suivi via la page « AI Visibility Score » du plugin (note 0-100).
Quels autres plugins SEO proposent cette fonctionnalité ? ▾
Au moment de la rédaction de cette doc (mai 2026) : aucun. Yoast SEO, Rank Math, SEOPress, AIOSEO n'exposent ni la liste détaillée de bots IA, ni le diagnostic live, ni le blocage HTTP strict. C'est une exclusivité Livada SEO.
Et le robots.txt managé Cloudflare ? ▾
Cloudflare peut servir son propre robots.txt managé devant celui de WordPress (visible
par un commentaire # BEGIN Cloudflare Managed content).
Dans ce cas, le bloc Livada SEO est ajouté après. Si la directive
Cloudflare contredit votre choix Livada SEO, c'est CF qui gagne au niveau edge.
Solution : aller dans le panneau AI Crawl Control de Cloudflare pour aligner.
Prêt à voir si l'IA peut atteindre votre site ?
Installez Livada SEO 1.12+ et lancez le diagnostic live. 30 secondes pour savoir si vos pages sont visibles par ChatGPT, Claude, Perplexity, Gemini et Copilot.