| 什么是robots文件？
Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。
| 为什么要做robots文件？
网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。
| 如何制作 robots文件？
编写robots.txt文件并上传到网站根目录。
| 制作 robots.txt注意事项
● 所有搜索引擎则用星号表示
● Allow（允许）和Disallow（不允许）优先级
● 至少屏蔽一个，可以屏蔽：搜索结果页面/404页面
● 记得将sitemap放到Robots文件中
● 可以陆续放入更多，而不是一次性决定所有
● 网站后台地址/图片地址/下载文件地址/错误链接（搜外网）
301重定向相关问题1、为什么要设定首选域，把没带www的域名，都通过301或其他的方式转移到带www的上面呢?这样做主要是为了 URL标准化 ，让网站的权重都集中到某一个域名上，而不是分散开了。2、我是否可以把带www的域名，301到不带www的域名上?如果你发现没带www的域名排名比较好，或收录好很多，则可以把带www的域名，301到不带www的域名上。我们之所以建议没带www的301到带ww
Google网站地图Sitemap对于搜索引擎优化(SEO)来说是非常重要的。Sitemap是一个包含网站的URL列表的XML文件，告诉搜索引擎哪些页面是网站的一部分，这样搜索引擎就可以更好地了解网站的结构和内容，更好地为用户提供搜索结果。 使用Sitemap可以帮助Google更快地了解网站的结构和内容，并且可以更快地更新搜索结果。Sitemap还可以帮助Google了解哪些页面在网站上是最重
robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！那么如果误操作封禁了robots怎么办？今天我们请到了厦门258网站运营负责人——郑军伟，为我们分享网站robots误封禁后该如何操作？【案例背景】网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开
robots.txt文件放在哪里?robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL相应的 robots.txt的 URLhtt
