搜 索

robots文件检测

/robots.txt

robots文件检测工具可以在线对指定域名的网站根目录中的robots.txt文件进行测试,验证该文件中的规则,查看是否允许或禁止引擎抓取情况。

Robots.txt文件存放在网站的根目录中,它是一个名称为Robots的纯文本txt文件,它不仅可以设置引擎允许或禁止抓取的单个文件或目录,还可以设置所有指定后缀、指定规则的文件与目录是否可以被抓取。

怎么创建robtots文件?

可以使用本站的robots生成工具来快速创建与验证robots.txt文件.