User-agent: *
Allow: /

# Bloquear directorios administrativos y de sistema
Disallow: /admin/
Disallow: /cpanel/
Disallow: /phpmyadmin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /tmp/

# Bloquear rutas de autenticación y admin de Laravel
Disallow: /login
Disallow: /register
Disallow: /password/
Disallow: /home
Disallow: /welcome

# Bloquear archivos de configuración y sistema
Disallow: /.env
Disallow: /config/
Disallow: /storage/logs/
Disallow: /vendor/
Disallow: /bootstrap/cache/
Disallow: /artisan
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /package.json
Disallow: /webpack.mix.js
Disallow: /phpunit.xml

# Bloquear rutas AJAX y API internas
Disallow: /sucursales/municipios/
Disallow: /sucursales/list/
Disallow: /sucursales/mapa/
Disallow: /ofertas-inside/
Disallow: /vacantes/bySucursal/

# Permitir acceso a recursos importantes
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /fonts/
Allow: /build/

# Crawl-delay para ser amigables con los bots
Crawl-delay: 1

# Sitemap
Sitemap: https://merco.mx/sitemap.xml

# Bots específicos
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

User-agent: facebookexternalhit
Allow: /