robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
近期，百度搜索技术团队抽查发现，大量资讯站点正文中出现支付宝红包类受益作弊内容，此现象极大损害了百度搜索用户的体验，对搜索用户有误引导情况。百度技术团队将于近期重点判罚出现此类情况站点，请广大资源方尽快自查，处理站点内相关内容。具体示意截图如下：如有问题，请在反馈中心进行反馈。来源：百度搜索资源平台
亲爱的网站管理员很高兴地告诉您，原先隐藏得较深的站点属性设置功能经工程师的努力已全面升级，并作为独立工具出现在平台工具导航栏中，您可以在“搜索展现”区域下找到“站点属性”，在工具中进行相关设置，包括：1，站点中文名：您提交站点中文名称后，如果PC搜索结果TITLE过长，我们会自动对TITLE进行截断并在最后加上站点的名文名称，起到站点名告知的作用。后续该逻辑也会在移动搜索端使用。2，站点类型，如果
| 什么是robots文件？Robots是站点与spider沟通的重要渠道，是网站与搜索引擎爬虫之间的协议，告知哪些可抓取哪些不允许。| 为什么要做robots文件？网站上总有一些页面是禁止蜘蛛抓取的。例如：搜索页面、筛选页面、后台登录地址等。| 如何制作 robots文件？编写robots.txt文件并上传到网站根目录。| 制作 robots.txt注意事项● 所有搜索引擎则用星号表示● All
User-agent: [robot名稱] Disallow: [禁止存取的目錄或檔案] Allow: [允許存取的目錄或檔案] Sitemap: [網站地圖檔案位置] 注意事項： - User-agent：要設定的是區分搜索引擎的機器人，可設定多個。若不加此欄位，則視為通用設定。 - Disallow：機器人不可存取的目錄或檔案，在此設定時，要注意目錄名稱或檔案名稱是完整的，不
