User-agent: *
Allow: /

# Admin və sensitive path-lar
Disallow: /admin
Disallow: /api/
Disallow: /storage/logs
Disallow: /vendor/
Disallow: /.env

# Bot-spesifik (məsələn, AI scrapers-i bloklamaq üçün)
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

# Sitemap
Sitemap: https://projob.az/sitemap.xml