网站优化的时候，优化师会为网站添加上robots文件，robots文件是做什么用的?robots文件是告诉搜索引擎蜘蛛这个地址是网站地图，如果我们有网站隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时，可以在robots.txt中写上路径地址，并且我们可以在robots文件中添加Sitemap网址，帮助网站的抓取机会。

robots文件示例：

User-agent: *

Disallow: /bin/

Sitemap: https://www.zhongtao.net/sitemap.xml

有页面不想被搜索引擎收录我们可以是用robots meta标签来解决，robots.txt文件主要是限制整个站点或者目录的蜘蛛访问，而robots meta标签则主要是针对某个具体的页面，此标签放在页面中，专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。

我们接下来看看robots meta标签有几种使用方式：

1.在content部分robots meta标签有4个指令选项，分别是：index、follow、noindex、nofollow。

follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。

notollow 指令与 follow指令相反，表示搜索引擎蜘蛛不可以爬行该页面上的链接。

index 指令告诉搜索引擎蜘蛛可以抓取该页面。

noindex 指令与index指令相反，表示搜索引擎蜘蛛不可以抓取该页面。

2. robots meta标签中，name="robots"表示所有的搜索引擎，也可以针对某个具体的搜索引擎。