搜 索

关于robots文件的创建与检测规则的常用方法

编辑:QTOOL.NET日期:2019-11-01363

首先为什么要在网站根目录下放置robots.txt文件,Robots协议,是网络上网站中通用的一种规范。

当我们网站上线运行后,搜索引擎访问时,会第一个访问该文件,读取识别其中的规则.

它可以设置所有搜索是否允许被访问与抓取,我们可以使用windows系统中的简单的记事本就可以创建它。

一般常用的语句有:

User-agent: * 表示允许所有搜索

其中*表示通配所有.

Disallow: /目录  表示禁止搜索引擎访问指定的目录

Allow: / 目录 表示允许搜索引访问指定的目录

连起来就可以创建个简单的小示例

代码如下:

User-agent: * 

Disallow: /images/

在桌面空白处右键,新建文本文档,名称由新建文本文档.txt修改为robots.txt,后缀为.txt

然后打开它将以上代码复制进去选择文件菜单保存,将其复制到网站根目录中去,就可以禁止所有搜索访问images文件夹了.

当然如果需要单个设置指定引擎名称的抓取情况,可以使用本站的robots生成器,

通过设置相关属性选项即可自动生成robots规则代码,然后同上的方法创建个文本文档重命名,粘贴创建好的代码保存后剪切上传到网站服务器根目录中去。

那么对于自己写好的robots规则是否正确,是否能被读取,该怎样测试呢?

可以使用本站的robots文件检测小工具.

它能快速的访问读取输入的指定网址域名中的robots.txt文件,分析其中的访问规则,给出相应的反馈结果,帮助检测判断文件代码中规则的正确性与是否能够达到自己想要的规则效果.

使用器起来也十分简单,打开它,输入带https或http前缀的网址,与示例一样尾部不要加/,即可直接进行校验测试。

对于无法读取或判断的内容主动被提取出来显示,供我们参考修改.

TAG标签:网站状态
此文章由QTOOL.NET编辑
最新文章

热门标签