robots.txt 生成器
按规则生成本地 robots.txt 文本，可选示例性 AI 爬虫限制
这个工具能做什么
- robots.txt
- Sitemap
- Allow/Disallow
- 本地模板
示例
- 输入：见工具页示例
- 输出：浏览器本地即时输出
适用 / 不适用
- 适用：需要本地即时处理且不上传数据的场景
- 适用：Cloudflare Pages 纯静态托管站点
- 不适用：必须服务端权威审计或联网第三方 API 的场景
技术与隐私说明（可验证）
- 纯前端实现，无第三方 API
- 可在 Cloudflare Pages 直接上传部署
- 数据：全程浏览器本地处理，不上传到 www.518882.com 服务器。
怎么用（步骤）
- 填写 Sitemap、Allow/Disallow 路径（逗号分隔）。
- 可选加入常见 AI 爬虫的示例 Disallow 块。
- 仅生成文本，不会请求或修改你的网站。
- 上线前请按真实路径核对。
常见问题
会改我网站的 robots 吗？
不会，只生成可复制的文本。
AI 爬虫列表完整吗？
仅为常见示例，需自行维护。
Allow 与 Disallow 优先级？
遵循爬虫实现；请查阅搜索引擎文档。
上传吗？
不上传。
多语言站点？
可在 Sitemap 字段填入你的 sitemap 索引地址。