搜 索

robots生成

默认 - 所有:
爬虫-延迟时间:
网站地图:
可以不填写
常用搜索引擎:
Google(谷歌)
googlebot
Baidu(百度)
baiduspider
Sogou(搜狗)
sogou spider
YouDao(有道)
YodaoBot
Yahoo
yahoo-slurp
Ask/txteoma
teoma
Cuil
twiceler
GigaBlast
gigabot
Scrub txthe Web
scrubby
DMOZ Checker
robozilla
Nutch
nutch
Alexa/Wayback
ia_archiver
Naver
naverbot, yeti
其他搜索引擎:
Google Image
googlebot-image
Google Mobile
googlebot-mobile
Yahoo MM
yahoo-mmcrawler
MSN PicSearch
psbot
SingingFish
asterias
Yahoo Blogs
yahoo-blogs/v3.9
限制目录
路径以 "/"结尾

本工具可以快速生成robots..只需要将生成的robots内容复制粘贴到一个新建的文本文件,保存为robots.txt,将其上传网站根目录中去即可.
什么是robots.txt?
在常见的搜索引擎访问网站的第一个文件就是robots.txt文件,它可以屏蔽一些不需要被收录的目录或文件,从而更好的让搜索引擎访问.
robots文件中有哪些命令
User-agent:用于展示允许访问的搜索引擎robot的名称
User-agent: * 为允许所有robot访问
Disallow:用于描述禁止被访问的url或目录。
Allow:意思与Disallow相反,用于显示允许访问的url或目录
Sitemap:设置网站的一些链接地图