# AI白板 - robots.txt
# 更新时间: 2026-01-26

# 允许所有搜索引擎爬虫
User-agent: *
Allow: /

# 禁止爬取静态资源文件（可选，减少服务器负载）
# Disallow: /assets/
# Disallow: /*.js$
# Disallow: /*.css$

# 禁止爬取 API 接口
Disallow: /api/

# 爬虫访问速率限制（可选，防止爬虫过度占用带宽1）
# Crawl-delay: 1

# 站点地图
Sitemap: https://aibaiban.com/sitemap.xml

# 特定爬虫配置
# Google Bot
User-agent: Googlebot
Allow: /
Crawl-delay: 0

# Bing Bot
User-agent: Bingbot
Allow: /
Crawl-delay: 0

# 百度爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 1
