# Booksolut - Robots.txt
# Optimizado para SEO y seguridad

# Permitir todos los bots por defecto
User-agent: *
Allow: /

# Bloquear áreas privadas y administrativas
Disallow: /admin
Disallow: /superadmin
Disallow: /api/
Disallow: /webhook/
Disallow: /auth/
Disallow: /cron/
Disallow: /scripts/
Disallow: /vendor/
Disallow: /config/
Disallow: /app/
Disallow: /database/
Disallow: /migrations/
Disallow: /storage/
Disallow: /tests/

# Bloquear rutas privadas de tenants
Disallow: /*/admin
Disallow: /*/staff
Disallow: /*/client
Disallow: /*/portal

# Permitir explícitamente páginas públicas importantes
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /icons/
Allow: /*/servicios
Allow: /*/reservar
Allow: /$

# Bloquear parámetros de búsqueda y filtros
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*search=

# Bloquear archivos temporales y de desarrollo
Disallow: /tmp_
Disallow: /test_
Disallow: /debug_
Disallow: /*.log$
Disallow: /*.sql$
Disallow: /*.env$

# Sitemap principal
Sitemap: https://booksolut.com/sitemap-index.xml

# ── Googlebot — acceso completo sin restricciones ──
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

# ── Bingbot — acceso completo ──
User-agent: Bingbot
Allow: /

# ── Otros bots importantes — acceso completo ──
User-agent: Slurp
User-agent: DuckDuckBot
User-agent: Baiduspider
User-agent: YandexBot
Allow: /

# ── Bots de IA — permitir con delay moderado ──
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: CCBot
User-agent: anthropic-ai
User-agent: Claude-Web
Crawl-delay: 5
Allow: /

# ── Bots agresivos de SEO — limitar velocidad ──
User-agent: AhrefsBot
Crawl-delay: 10
Allow: /

User-agent: SemrushBot
Crawl-delay: 10
Allow: /

User-agent: MJ12bot
Crawl-delay: 15
Allow: /

User-agent: DotBot
Crawl-delay: 15
Allow: /

User-agent: BLEXBot
Crawl-delay: 15
Allow: /

User-agent: DataForSeoBot
Crawl-delay: 15
Allow: /