对于网站一个很重要的附件就是robots.txt文件，也就是针对于搜索引擎抓取的一份协议。如果这份robots协议没有利用好，会给网站优化造成很大的阻碍。有些朋友在网站上线一段时间之后，发现网站的收录量不正常，比如网站长时间不收录或者网站的某个目录没有被收录的现象，所以对于robots检查工作是十分重要的。
通常情况下我们都会使用站长平台工具当中的robots测试工具来检查协议是否正确，自己要清楚的知道robots协议当中不让搜索引擎抓取的页面有哪些，而这些页面是否真的不需要被搜索引擎抓取。如果发现robots文件有错误的地方，不但要及时更改，而且还有通过站长平台的检测并更新功能查看新修改的robots是否已经生效。
robots协议当中的每一个字符都是是否重要的，不能有半点错误出现，比如空格键的使用都是非常重要的，通过站长平台工具的robots文件检查也可以发现robots有没有错误的写法出现。同时还可以进行链接抓取的校验，比如网站的某个根目录是不想让搜索引擎抓取的，在这里就可以填写相应的根目录来检测一下搜索引擎是否真的不能抓取这个目录。
在小凯seo博客当中有一篇关于wordpress网站的robots协议的写法，并对每一条代码进行了解释，内容标题是《robots.txt协议利于wordpress网站seo优化的写法》感兴趣的朋友可以去参考一下。