VOTRE SITE EST-IL PRÊT POUR
LES AGENTS IA ?

01. Le problème : votre site parle aux humains, pas aux agents

Quand un agent IA — Claude, Cursor, ChatGPT en mode autonome — tente d’accéder à votre site pour lire votre documentation, comparer vos offres ou interagir avec votre API, il se retrouve face à une infrastructure pensée pour des humains : du HTML dense, des menus de navigation, des scripts analytics, des bannières cookies. Pour un LLM, c’est du bruit pur.

Cloudflare a quantifié l’ampleur du problème en analysant les 200 000 domaines les plus visités du web. Le résultat est sans appel : 78 % des sites ont un robots.txt, mais il a été écrit pour les crawlers de moteurs de recherche traditionnels — pas pour des agents. Les standards émergents comme les MCP Server Cards sont présents sur moins de 15 sites dans l’ensemble du dataset.

Le score Agent Readiness : quatre dimensions

Cloudflare a lancé isitagentready.com, un outil gratuit qui note votre site sur sa compatibilité avec les agents IA.

• 01
  Découvrabilité. robots.txt, sitemap.xml, Link Headers — les fondations que les agents lisent en premier pour comprendre l’architecture d’un site.
• 02
  Contenu. Capacité à servir une version Markdown propre sur demande, via le header Accept: text/markdown.
• 03
  Contrôle d’accès. Préférences claires sur ce que les IA peuvent faire de votre contenu (GPTBot, ClaudeBot, Google-Extended…)
• 04
  Capacités avancées. MCP Server Cards, API Catalog, OAuth Discovery — les standards pour agents capables d’agir, pas seulement de lire.

02. La priorité absolue : servir du Markdown à la demande

Parmi toutes les optimisations possibles, la négociation de contenu en Markdown offre le meilleur retour sur investissement immédiat. Cloudflare a mesuré jusqu’à 80 % de réduction du nombre de tokens nécessaires pour qu’un agent lise une page — par rapport à sa version HTML.

Un fichier Markdown bien structuré, c’est l’essence du contenu sans l’emballage. Conséquence directe : réduction du coût des appels API, latence réduite, meilleure probabilité que l’agent dispose du contexte complet sans tronquer.

Ce que ça implique techniquement

Quand un agent envoie le header Accept: text/markdown, votre serveur doit répondre avec la version Markdown et les bons headers :

HTTP/2 200
Content-Type: text/markdown; charset=utf-8
x-markdown-tokens: 725
Vary: Accept
Content-Signal: ai-train=yes, search=yes, ai-input=yes

• 01
  Sur Cloudflare. Activer « Markdown for Agents » depuis le dashboard → AI Crawl Control. Disponible dès le plan Pro, sans modification du code applicatif.
• 02
  Sur AWS (CloudFront + S3). Déployer une Lambda@Edge sur l’événement origin-response qui détecte le header et convertit le HTML en Markdown à la volée.
• 03
  Configurer le cache. Inclure le header Accept dans la clé de cache pour que les deux versions (HTML et Markdown) soient servies correctement selon le client.

03. Robots.txt et llms.txt : les fondations à poser maintenant

78 % des sites ont un robots.txt, mais écrit pour des crawlers de moteurs de recherche — pas pour des agents IA. En 2026, votre fichier doit inclure des directives explicites pour les principaux crawlers IA. L’absence de directive n’est pas une position neutre, c’est une réponse non choisie.

Le llms.txt : un plan de site pour les LLMs

Proposé en 2024, le fichier llms.txt présente l’architecture de votre site à un LLM. Placé à la racine, il liste les pages importantes avec une description courte. Pour les sites avec beaucoup de contenu, la granularité est clé : un agent confronté à un fichier trop long pour sa fenêtre de contexte commence à chercher par mots-clés, perd la vue d’ensemble, et multiplie les appels API inutilement.

• 01
  /llms.txt — index général qui pointe vers les sous-fichiers par section.
• 02
  /blog/llms.txt, /docs/llms.txt… — un fichier par section de contenu important.
• 03
  Exclure les pages de navigation pure — elles n’apportent aucune valeur sémantique à un LLM dont les pages enfants sont déjà listées.

04. Ce qu’il ne faut pas faire (encore)

Plusieurs standards mentionnés dans le score Cloudflare sont en cours de rédaction à l’IETF ou restent des propositions informelles sans garantie d’adoption généralisée : MCP Server Cards, API Catalog (RFC 9727), Web Bot Auth. Adopter aujourd’hui un standard qui sera remanié dans 18 mois, c’est potentiellement s’engager dans un travail à refaire entièrement.

Plan d’action priorisé

• 01
  Maintenant — Activer la négociation Markdown. Configurer le serveur pour répondre en Markdown sur Accept: text/markdown. Gain immédiat de 60–80 % sur la consommation de tokens des agents.
• 02
  Maintenant — Mettre à jour le robots.txt. Ajouter des directives explicites pour GPTBot, ClaudeBot, Google-Extended et les autres crawlers IA.
• 03
  Ce trimestre — Créer un llms.txt structuré. Un fichier par section de contenu important. Exclure les pages de navigation pure.
• 04
  Ce trimestre — Auditer votre score. Tester sur isitagentready.com et identifier les axes de progression prioritaires.
• 05
  2026 H2 — Évaluer MCP Server Cards et API Catalog. Uniquement si vous avez une API publique et des cas d’usage agents clairement identifiés. Surveiller l’évolution des standards avant d’investir.