我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
一级目录是什么一级目录继承在主站目录下的，相当于在网站的根目录下再建立一个文件夹存放网站。从严格上讲，目录是按"/"来算的，不算最后的“/”，域名中有一个“/”的就是一级目录，有两个“/”的就是二级目录。类似www.seowhy.com/faq、www.seowhy.com/faq/ 就是一级目录。举个例子：我建一个简单的html文件，命名为123.html，上传到搜外网站根目
1. 内链到相关主题：在文章中添加内链时，应该考虑到与文章主题相关的其他文章或网页。这样做可以为读者提供更深入的知识和信息，同时也可以提高网站的整体质量和权重。 2. 内链到旧文章：经常更新并维护网站是提高SEO的有效方法之一。因此，内链到旧文章可以帮助它们重新获得流量，并在SEO方面增加Maximize。 3. 内链到高质量内容：内链应该指向高质量、受欢迎的内容和网站，这样可以为您的网站带来
什么是robots文件Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网
robots文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示："<field>:<optional space><value><optionalspace>"在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常
