robot 禁止抓取图片
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
自nofollow标签于2005年推出以来，其作用一直是指示搜索引擎不要追踪链接。这项功能主要用于避免垃圾邮件和链接操纵，因为某些站点会通过在其他站点上发布大量链接来提高其搜索引擎排名。nofollow标签的作用是告诉搜索引擎不要将链接计入其评估算法。 然而，随着SEO和数字营销的发展，nofollow标签的作用已经发生了重大变化。现在，nofollow标签不仅能够阻止链接被计入搜索引擎的排名算
通常情况下，sitemap提交后，百度会在1-2天内进行抓取。但具体时间也受到网站规模、更新频率、抓取限制等因素的影响。如果长期未被抓取，可以检查一下sitemap是否存在问题，并通过百度站长平台的工具进行排查。
非标准扩展协议是指为特定需求而开发的协议，它们不是由标准化组织或工作组所制定的，并且通常只在特定的应用程序或系统内部使用。 在机器人领域，非标准扩展协议可以用于实现特殊的功能或针对特定的应用需求。例如，某些机器人可能需要与其他设备进行协同工作，因此可能需要使用非标准的协议来实现通信和控制。 在开发机器人或机器人应用程序时，非标准扩展协议也可用于灵活地实现自定义的功能和控制。例如，一些机器人应用
对于百度搜索引擎来说，蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多，及内容雷同但具体参数不同的动态URL ，就像一个无限循环的“黑洞”将spider困住，Baiduspider浪费了大量资源抓取的却是无效网页。比如很多网站都有筛选功能，通过筛选功能产生的网页经常会被搜索引擎大量抓取，而这其中很大一部分检索价值不高，如“500-1000之间价格的租房”，首先网站（包括现实中）上基本没有相关资源，
