🤖
robots.txt 生成器
可视化配置爬虫允许/禁止规则与 Sitemap,生成标准 robots.txt。
本地处理 · 不上传
加载工具中…
相关：robots.txt · 爬虫协议 · robots生成 · sitemap · 禁止抓取
robots.txt 生成器按规则配置允许与禁止抓取的路径，可针对不同爬虫分别设置，并附上 Sitemap 声明。生成后放到站点根目录即可。
使用步骤
- 设置针对的爬虫 User-agent
- 添加允许或禁止的路径
- 填写 Sitemap 地址
- 复制内容保存为 robots.txt
使用场景
- 阻止爬虫抓取后台与测试页面
- 为不同搜索引擎设置差异化规则
- 声明站点地图位置
- 控制抓取频率减轻服务器压力
小贴士
- robots.txt 是君子协定，只对遵守规则的爬虫有效。真正需要保护的内容必须靠鉴权，不能靠它。
- 禁止抓取不等于禁止收录：被外部链接指向的页面仍可能出现在搜索结果里，只是没有摘要。要阻止收录应用 noindex。
- 把敏感路径写进 robots.txt 反而是在公开告诉别人后台在哪，这份文件任何人都能直接访问。
常见问题
Disallow 能保护隐私吗？
完全不能。robots.txt 是公开文件，写进去的路径等于对外公示。恶意爬虫不但不遵守，还会优先去看这些路径。
禁止了为什么还被收录？
Disallow 只阻止抓取内容，不阻止收录 URL 本身。搜索引擎从外链发现该地址后仍可能列出。要彻底不收录需允许抓取并在页面上设置 noindex。
放在哪个位置？
必须放在站点根目录，即 https://域名/robots.txt。放在子目录下爬虫不会读取。子域名需要各自单独配置。
robots.txt 生成器是免费的吗？
是。本站所有工具完全免费，无需注册登录、无广告干扰，打开即用。
使用robots.txt 生成器，我的数据安全吗？
安全。该工具在你的浏览器本地完成处理，输入内容不会上传到服务器，隐私更有保障。