# ASMR.so Robots.txt - SEO Optimized

User-agent: *
Allow: /

# 优先抓取重要页面
Allow: /
Allow: /zh
Allow: /pricing
Allow: /zh/pricing
Allow: /asmr-guide
Allow: /zh/asmr-guide
Allow: /app/*
Allow: /zh/app/*

# 禁止抓取不需要索引的页面
Disallow: /api/
Disallow: /admin/
Disallow: /zh/admin/
Disallow: /app/dashboard/
Disallow: /zh/app/dashboard/
Disallow: /*?*
Disallow: /*/callback
Disallow: /*/auth/
Disallow: /_next/

# 禁止抓取私有文件
Disallow: /*.json$
Disallow: /*.ts$
Disallow: /*.tsx$

# 指定站点地图位置
Sitemap: https://www.asmr.so/sitemap.xml

# 爬虫延迟优化
Crawl-delay: 1

# 特殊搜索引擎优化
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Bingbot
Allow: /
Crawl-delay: 0

# 社交媒体爬虫
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /