我今天来给大家详细讲解下，先了解几个概念
1、robots只是禁止抓取，不是禁止收录
2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重
了解这2个概念后，我们再来讨论怎么处理这类收录问题：
robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
看到这里，是不是有感而发，我们怎么从百度导流到你的淘宝店！（来源：夫唯seo特训营）
创建站点地图的方法如下： 1.确定网站结构：确定网站的目录结构和分类，以及网页之间的链接关系。 2.创建XML文件：将网站的链接和网页信息保存在一个XML文件中。 3.注册站点：将站点地图提交给主要的搜索引擎（如Google、Baidu等）进行注册。 4.检查更新：每次网站更新，都需要更新站点地图，以保持站点地图的完整性和准确性。 5.使用工具：使用在线工具或插件轻松创建站点地图，例如：
1、正确设置CMS系统配置，使其规范生成网址2、确保内部链接统一3、做好网站301转向，成功转换不规范网址4、做好网站地图时注意网站的规范5、利用搜索引擎管理工作设置好自己站点的首选域
我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
