我今天来给大家详细讲解下，先了解几个概念1、robots只是禁止抓取，不是禁止收录2、另外还有nofollow的作用不是不抓取这个链接，是不从这个链接传递权重了解这2个概念后，我们再来讨论怎么处理这类收录问题：robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？大家百度查一下淘宝，如图：按照道理淘宝写了robots怎么还是收
一般来说，url当中的#号是一个锚点的标志位，这样的url打开之后会将访问者的视线定位在指定位置上，令访问者直接看到网页中间的一段内容。自从推特流行开始，#号被附予了新的意义——话题。很多站长直接在#号后面加参数且参数是有效的，即#号去掉与不去掉，打开的网页完全不同。目前百度对带#号URL的收录策略是：去掉#号后面的内容，仅对#号前面的url进行建库。这样就导致一些站长认为有意义有价值的页面，百度
Robots are machines that are capable of carrying out complex tasks automatically, often in a manner similar to human beings. They can be programmed to perform a wide range of actions, from simple acti
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
