Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。
360搜索支持善意的搜索引擎Robots协议。您可通过在网站根目录下放置Robots.txt 文件以建议360搜索搜爬虫不收录您网站的全部或部分内容。如果希望360搜索搜尽快删除涉及您隐私/名誉的网页内容，可以通过我们的意见反馈页面进行提交，我们会尽快为您处理。
以下可能是导致您的网站收录数量逐渐减少的原因： 1.网站更新太慢：如果您的网站长时间没有更新，搜索引擎就会认为您的网站已死亡或不再受欢迎，因此不会索引新内容。 2.站内链接数量减少：如果您在网站更新中删除了某些页面或减少了站内链接数量，这也可能导致收录数量减少。 3.低品质内容：如果您的网站上长期存在重复、低质量或与您的主题无关的内容，搜索引擎可能会将您的站点视为垃圾站点而降低您的排名和收录
近期百度搜索最大的动作应该就是百度Spider3.0升级了，简单的概括下升级的特点就是：抓取更实时，收录效率更快，对原创优质内容更青睐。此次升级是把当前离线、全量计算为主的系统，改造成实时、增量计算的全实时调度系统，万亿规模的数据进行实时读写，可以收录90%的网页，速度提升80%！『抓取、建库更快—提交的内容更容易被抓取』链接发现方面：如今sipder每天发现的新链接在500亿左右的量级，说明啥？
判断是否冒充Baiduspider的抓取可以通过以下步骤进行： 1. 查看User-Agent：Baiduspider是百度搜索引擎的爬虫程序，其User-Agent通常以"Baiduspider"开头，后面跟着版本号。如果请求的User-Agent不是以"Baiduspider"开头，就可能是冒充Baiduspider的抓取。 2. IP地址验证：冒充Baiduspider的抓取可能使用不属
