什么是robots文件
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
来源：百度搜索资源平台 百度搜索学堂
百度搜索资源平台是为了满足广大用户的搜索需求，提供各类搜索资源的平台。在百度搜索资源平台上，用户可以搜索到各类合作项目，包括但不限于以下几类： 1. 产品合作项目：用户可以搜索到与各种产品相关的合作项目。这包括与制造商、供应商、分销商等的合作项目，用户可以获取到针对产品的合作方案、销售渠道、品牌推广等信息。 2. 技术合作项目：用户可以搜索到与技术相关的合作项目。这包括与科技公司、研发机构、技
百度搜索资源平台提供了API推送功能，可以帮助站长将站点内容快速提交到百度搜索引擎，提高站点被百度收录的效率。以下为使用API推送功能的具体步骤： 1.登录百度搜索资源平台（https://ziyuan.baidu.com/），点击“API调用”进入API推送页面。 2.在“添加站点”页面，输入待提交的站点信息和站点所对应的sitemap文件地址，并点击“添加站点”。 3.在“站点列表”中找
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，每一条记录的格式如下所示:"<field>:<optionalspace><value><optionalspace>"。在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
