# Robots.txt pour Constructo AI # https://constructoai.ca # Googlebot — pas de crawl-delay (Google peut crawler a pleine vitesse) # Idem pour Bingbot et Slurp (Yahoo) qui supportent un crawl optimise User-agent: Googlebot Allow: / Disallow: /og-image.html Disallow: /*.json$ User-agent: Bingbot Allow: / Disallow: /og-image.html Disallow: /*.json$ User-agent: Slurp Allow: / Disallow: /og-image.html Disallow: /*.json$ # Tous les autres bots (avec crawl-delay defensif pour bots agressifs) User-agent: * Allow: / # Bloquer les fichiers techniques et templates internes Disallow: /og-image.html Disallow: /*.json$ # Bloquer les bots agressifs IA (optionnel - décommenter si souhaité) # User-agent: GPTBot # Disallow: / # User-agent: CCBot # Disallow: / # Sitemap principal Sitemap: https://constructoai.ca/sitemap.xml # Crawl-delay (respecté par bots non-Google/Bing/Yahoo) Crawl-delay: 1