robots.txt 是什么？

robots.txt 放在网站根目录，用于向遵守协议的搜索引擎爬虫提示哪些路径可以抓取。它是公开文件，不能当作安全机制；真正的私密内容应使用鉴权、权限与 noindex 等组合策略。可以先用本工具生成规则，再访问网站根目录确认文件能够正常返回。

robots.txt 与 Sitemap、noindex 有什么区别？

robots.txt 主要控制爬虫是否请求某个路径，Sitemap 用于提供希望搜索引擎发现的 URL 列表，noindex 则是页面级的索引控制信号。Disallow 不等于删除索引，也不能阻止已经公开的敏感 URL 被别人访问；配置前应根据抓取、发现和索引三个不同目标选择合适的方法。

Robots.txt 生成器支持什么？

允许全部 / 禁止全部 / 标准配置等快速预设
WordPress、电商、SPA 常见规则模板
多 User-agent、Allow/Disallow、Sitemap、Crawl-delay、Host
一键复制与下载生成结果

易错点

Disallow: / 误伤全站
把敏感 API 只写进 robots 却不设权限
规则顺序与前缀匹配理解错误
多环境域名各用不同 robots 未同步

配置示例与发布检查

普通内容站可以让公开页面保持可抓取，同时屏蔽后台和内部搜索路径。例如，User-agent: * 配合 Disallow: /admin/ 和 Disallow: /search，再添加完整的 Sitemap: https://example.com/sitemap.xml。电商网站还应根据实际 URL 结构检查购物车、结算页和筛选参数，避免误伤分类页或商品页。

生成文件后，确认它位于域名根目录、使用纯文本格式、Sitemap 地址可访问，并在不同环境部署时检查域名是否正确。robots.txt 只对规范爬虫提供抓取提示，不能替代登录验证、服务器权限或敏感数据保护。

不同网站类型的配置思路

内容站通常只需要保持文章、分类和公开资源可抓取，同时屏蔽后台与内部搜索路径。WordPress 网站可以重点检查 /wp-admin/、登录入口和搜索参数；电商网站则要避免误屏蔽商品页、分类页和重要筛选页面。SPA 网站还应确认内容 URL、静态资源和渲染入口没有被规则意外禁止。

发布后的检查清单

确认文件位于域名根目录，并能通过 /robots.txt 返回。
确认响应状态为 200，内容为纯文本格式。
确认 Sitemap 地址完整、正确且可以访问。
检查没有误写 Disallow: /，也没有屏蔽重要页面。
分别核对测试环境和生产环境使用的域名与 Sitemap 地址。

Robots.txt 常见问题

robots.txt 能保证不被抓吗？ 不能强制；它是礼貌协议，敏感内容还需登录与权限。

Sitemap 要写进 robots 吗？ 建议写，方便发现站点地图。

Disallow 全站会怎样？ 搜索引擎可能不再抓取公开内容，谨慎用于生产前台。

Crawl-delay 都支持吗？ 并非所有爬虫支持，Google 通常忽略。

Robots.txt 生成器
可视化配置爬虫规则与 Sitemap

💡 robots.txt 说明

⚠️ 注意事项

怎么用

常见问题

相关工具