360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点的所有URL。 4. Host：用于指定网站的主机名，可以避免因为DNS变化导致搜索引擎爬虫无法访问网站。 5. Clean-param：用于指定需要从URL中移除的参数，搜索引擎在访问网站时会忽略URL中包含的这些参数。 6. Noindex-nofollow：用于指定不需要被搜索引擎收录或链接的页面。 这些指令的使用可以让网站管理员更加灵活地控制搜索引擎爬虫的访问行为，以达到更好的SEO效果。
2019年9月10日，Google官方博客表示，nofollow属性将不再仅代表拒绝传递权重，而将拓展为三种属性：rel="sponsored"、rel="ugc"、rel="nofollow"。 1. rel=”sponsored” 该属性用于标示被广告赞助的链接，例如广告合作，展示商标，赞助商链接等。它是告诉搜索引擎，链接是被广告商赞助，而非独立推荐。 2. rel=”ugc” 该属性
Google网站地图Sitemap是一个XML文件，列出了Web站点中的所有页面和链接。这样，搜索引擎可以通过此文件更快地找到和索引您网站上的所有内容。 与搜索引擎优化（SEO）有关的是，Sitemap帮助您确保您网站上的所有内容都可以被搜索引擎找到和索引。搜索引擎很可能会错过一些页面或链接，导致这些内容无法出现在用户的搜索结果中。有了Sitemap，您可以告诉搜索引擎哪些页面需要索引，哪些页面
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
