robots meta标签是页面head部分meta标签的一种形式，主要用于指令搜索引擎蜘蛛禁止索引这个网站页面的内容，从而不会被搜索引擎收录该页面。在很多喜欢在网上写个人博客类的网站的朋友，经常会把有些页面屏蔽蜘蛛抓取，让该页面不会显示在搜索引擎结果列表当中。
比较简单的robots meta标签格式为<meta name=”robots” content=”noindex,nofollow”>，这段代码所设置的robots meta标签的作用是禁止所有搜索引擎索引该网站页面，禁止跟踪该页面上的链接。谷歌、必应、雅虎等搜索引擎都支持的robots meta标签如下：
noindex：告诉蜘蛛不要索引该网站页面；
nofollow：告诉蜘蛛不要跟踪该网站页面上的链接；
nosnippet：告诉搜索引擎不要在搜索结果中显示摘要描述文字；
noarchive：告诉搜索引擎不要显示网页快照；
noodp：告诉搜索引擎不要使用开发目录中的标题和描述；
而百度搜索引擎目前只支持nofollow和noarchive两种标签形式。
robots meta标签的内容可以写在一起，以英文逗号间隔，中间可以有空格，也可以没有空格，多个robots meta内容也可以写成不同的标签形式。例如：<meta name=”robots” content=”noindex”>、<meta name=”robots” content=”nofollow”>这两个内容可以写成<meta name=”robots” content=”noindex,nofollow”>一种形式，并且meta robots标签是不用区分大小写的。
robots meta标签的主要作用和存在的意义在于禁止搜索引擎索引，如果想让搜索引擎蜘蛛正确的抓取网站页面的内容，robots meta标签就没有存在的意义了。比如：<meta name=”robots” content=”index,follow”>的写法是没有任何意义的，