User-agent: *
Allow: /

# 站点地图
Sitemap: https://www.sd-network.cn/sitemap.xml

# 禁止抓取内部资源
Disallow: /css/
Disallow: /js/
Disallow: /images/private/

# 主流搜索引擎 Bot
User-agent: Googlebot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Bingbot
Allow: /

# AI 爬虫(允许用于 llms 优化)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /