Categories


Tags


为什么我的网站已经加了robots.txt,还能在搜狗搜索出来

因为搜索引擎索引数据库的更新需要时间。虽然sogou spider已经停止访问您网站上的网页,但搜狗搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。

如果您的拒绝被收录需求非常急迫,也可以通过删除快照反馈请求处理。


Public @ 2018-01-11 15:38:56

360搜索蜘蛛IP段及蜘蛛ip被拦截的问题解决方法

搜索蜘蛛IP段 1、百度蜘蛛:220.181.100-220.181.111 2、360搜索蜘蛛:36.110.0-36.110.255 3、新浪蜘蛛:61.135.160-61.135.160 4、搜狗蜘蛛:182.118.7-182.118.15 蜘蛛IP被拦截的问题解决方法 1、根据不同的蜘蛛IP段添加搜索蜘蛛的IP白名单,以免被拦截; 2、根据不同的蜘蛛访问网站的添加Us

Public @ 2023-02-24 20:00:29

各搜索引擎蜘蛛介绍

搜索引擎蜘蛛是搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。一般用法为“ spider+URL”,后面的URL(网址)是搜索引擎的痕迹,如果要查看某搜索引擎是否来爬取过你们的网站,可查看服务器的日志里是否有该URL,同时还能查看来的时间、频率等…1、百度蜘蛛:可以根据服务器的负载能力调节访问密度,大

Public @ 2011-05-10 16:22:33

sogou spider 喜欢收录什么样的页面?

内容优良而独特的页面,如果您的页面内容和互联网上已存在的其他页面有高度的相似性,可能不会被 sogou spider 收录。链接层次较浅的页面,过深的链接层次,尤其是动态网页的链接,会被丢弃而不收录。如果是动态网页,请控制一下参数的数量和URL的长度。搜狗更偏好收录静态网页。重定向次数越多的页面,越有可能被 sogou spider 丢弃。

Public @ 2011-08-12 15:38:57

更多您感兴趣的搜索

0.501794s