创建完美的 robots.txt 文件
简单、直观的界面帮助你生成符合标准的 robots.txt 文件，控制搜索引擎爬虫对你网站的访问。
符合搜索引擎标准
易于使用的界面
实时预览生成结果
完全免费使用
配置选项
基础设置
已添加的 User-agents
0 个添加 User-agent 以开始配置
添加规则
添加你的站点地图 URL
robots.txt 预览
已复制到剪贴板！
# robots.txt 文件生成器
# 访问 https://www.goww.net/robots.txt 查看此文件
# 示例规则
User-agent: *
Disallow: /admin/
Disallow: /search/
# 站点地图
Sitemap: https://www.goww.net/sitemap.xml
如何使用
1
添加 User-agent
选择或输入要针对的搜索引擎爬虫，然后点击添加按钮。
2
添加规则
选择规则类型（允许或禁止）和路径，然后点击添加规则按钮。
3
预览和复制
在预览区域查看生成的 robots.txt 文件，然后复制或下载它。
4
上传到网站根目录
将生成的文件上传到你的网站根目录，确保文件名为 robots.txt。
关于 robots.txt
robots.txt 是一个文本文件，用于告知搜索引擎爬虫哪些页面或文件可以被抓取，哪些不可以。它位于网站的根目录下，是网站与搜索引擎沟通的一种方式。