为什么我的网站已经加了robots.txt，还能在百度搜索出来？
因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。
来源：百度搜索资源平台 百度搜索学堂
最近笔者在SEO总监群看到有朋友的网站遇到这样一个问题：网站更换新域名并做了301重定向，但是一段时间后老域名的排名转移到了新域名，而新域名的排名逐渐下降（越来越严重），时隔半年排名也没有恢复。我所经历的301这样让我想起了曾经做过的301，当时笔者担任华图的SEO负责人，为了品牌升级需要把老域名切换成新双拼域名。为此，我做了大量的准备工作。没想到结构依然非常悲剧，301重定向之后chinaz的预
robots.txt概念如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？答案是：使用一个叫做robots.txt的文件。robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓取，哪些不允许抓取。搜索引擎蜘蛛访问网站任何文件之前，需先访问robots.txt文件，然后抓取robots.txt文件允许的路径，跳过其禁止的路径。总结：robots.txt是一个简单的.txt文件
Robots META标签中没有大小写之分，name="Robots"表示所有的搜索引擎，可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow，指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
