robots.txt是一个网站的根目录中的文件，用于告知搜索引擎哪些页面和文件可以被搜索引擎的爬虫访问，哪些不可以。该文件是遵循 robots协议的网站必不可少的一个文件，用于控制搜索引擎的爬虫访问网站的行为。通过robots.txt文件，网站管理员可以禁止搜索引擎爬虫访问一些无用或敏感的网站内容，或是避免搜素引擎爬虫访问较为频繁的API接口等。
1、网站验证2、普通收录3、快速收录4、死链提交5、网站改版6、索引量7、流量与关键词8、抓取异常9、抓取诊断10、抓取频次11、robots12、反馈中心13、站点子链14、移动适配15、分润中心16、站点属性什么是关键词影响力？ （暂时在移动端上线）关键词影响力，是百度搜索资源平台针对站点对于关键词数据分析的需求，推出的全新概念。站点关键词影响力：在具体关键词下，站点获得的收益对应的关键词影响
B端合作伙伴如何接入专业问答最新更新章节：2019-03-13专业问答，是百度对搜索结果一种创新的展示，旨在突破传统搜索引擎使用URL链接满足的形式，创造性地在搜索结果页首位将用户所寻找的答案直接展示给用户，提升信息获取的效率。来源：百度搜索资源平台 百度搜索学堂
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
360搜索支持Robots协议的主要命令，以下为具体说明：1. user-agent360搜索各产品的爬虫user-agent为：- 网页搜索 360Spider- 图片搜索 360Spider-Image- 视频搜索 360Spider-Video2. Allow站长可通过Allow命令指定建议收录的文件、目录 。3. Disallow站长可通过Disallow命令指定不建议收录的文件、目录。
