Robots.txt 生成器

核心语法

robots.txt 是放置在网站根目录下（如 https://example.com/robots.txt）的纯文本文件，用于告诉搜索引擎哪些路径可以抓取、哪些不可以。

• User-agent: 指定规则作用的蜘蛛名称，* 表示所有蜘蛛。
• Disallow: 禁止抓取的路径，/ 表示整站禁止；为空表示不禁止。
• Allow: 显式允许抓取的路径，常与 Disallow 配合使用。
• Sitemap: 站点地图完整 URL，可放在文件任意位置。

格式规范

• 每个规则块以 User-agent 开头，后跟若干条 Disallow / Allow。
• 规则块之间用空行分隔。
• 路径区分大小写，需以 / 开头。
• # 开头的行为注释。

常见示例

# 全站允许所有蜘蛛
User-agent: *
Allow: /
Disallow:

# 禁止所有蜘蛛抓取
User-agent: *
Disallow: /

# 仅允许谷歌，其它蜘蛛禁止
User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /

注意事项

• robots.txt 只是"君子协议"，恶意爬虫可能不遵守，敏感内容请用鉴权保护。
• 不要把 robots.txt 当成隐藏内容的手段，它本身是公开的。
• 文件必须命名为 robots.txt（全小写），放在站点根目录。
• 修改后可能需要等待搜索引擎重新抓取才会生效。