robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
各位亲爱的管理员：为了更好地顺应时代潮流，完善对移动站点的处理，使百度与站长之间的沟通更加顺畅，百度技术部门对PC移动化方式进行了概念上的规范，分别将目前主流的三种PC站移动化方式总结为：跳转适配、代码适配和自适应。相应的，百度站长平台对移动sitemap协议里的mobile type标注进行更新升级，修改了对自适应页面的标注方式，增加了对代码适配页面的标注方式。现在移动sitemap协议mobi
搜索资源平台小程序资源收录&点展数据已于今日（3.22）完成上线。您可通过该功能查看您的熊掌ID所绑定的小程序资源在搜索中的收录和点展情况。1. 数据统计-收录统计如下图，您可在数据统计-收录统计中查看小程序收录资源量，以及在当前熊掌ID下小程序资源量占比。如下图，您可查看当前熊掌ID下所绑定所有小程序资源7日内和30日内的收录趋势。2. 数据统计-点展统计如下图
网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！如果误封禁，请及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新。来源：百度搜索资源平台
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录--保证服务器性能。比如:大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在ro
