Categories


Tags


Chrome浏览器模拟百度蜘蛛访问

某些网站可能针对搜索引擎挂马(百度/360/搜狗等),Chrome浏览器可以安装User-Agent Switcher for Chrome模拟百度蜘蛛来访问网页,如果是针对搜索引擎挂马的就会显示。

下载蜘蛛模拟软件,模拟蜘蛛访问查看非法信息。

准备工作

已经安装Google Chrome浏览器

安装扩展

访问 User-AgentSwitcher_1_0_43.crx 并下载这个扩展

按照下图打开Chrome浏览器 - 扩展程序

设置百度蜘蛛

安装完成在扩展程序页面可以看到User-Agent Switcher for Chrome点选项

按照如下截图添加百度蜘蛛(蓝色的文字部分)

New User-agent name:baidu

New User-Agent String:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html;soso;360;sogou)

Group:spider

Append?:Repalce

Indicator Flag:1

测试

安装扩展后Chrome浏览器右上角多出一个小眼睛,点击小眼睛 - spider - baidu,这样就可以模拟百度蜘蛛访问了。

比如访问一个针对搜索引擎挂马的网页:http://www.zttoten.com/index.php?rmlbgh=cbfmcm&westauditpageinfo=1 [这个地址可能会会失效],这样就可以看到被挂马的情况。(默认情况下访问这个地址可能会跳转到网站首页。)

注意事项

如果之前已经用正常模式访问过非法信息网页,再模拟百度蜘蛛的时候可能会失效,清除下浏览器缓存(cookie),然后重新选择百度蜘蛛访问非法信息页面测试。

此方法仅针对搜索引擎挂马有效,其它挂马类型并不适用。

来源:西部数码


Public @ 2019-10-16 16:22:26

导致搜索引擎蜘蛛不能顺利爬行的因素

1. 网站结构复杂和不合理:网站结构过于复杂或不合理会阻碍搜索引擎蜘蛛的爬行,导致关键页面无法被索引。 2. 缺乏关键词和优化:如果网站没有优化,或关键词使用不当或缺乏,搜索引擎无法判断网站内容的重要性,从而无法正确推荐网站给用户。 3. 网页载入时间过长:搜索引擎会优先考虑快速载入的网站。如果网站速度慢,搜索引擎会认为网站不够优秀,会影响网站的排名。 4. robots.txt 文件限制:

Public @ 2023-04-03 19:50:18

【官方说法】百度蜘蛛抓取流量暴增的原因

百度官方表示,造成蜘蛛抓取流量暴增的原因主要有以下几个方面: 1. 站点更新频繁:如果站点内容更新频繁,蜘蛛会更加积极地抓取页面,从而带来流量的上涨。 2. 站点质量提高:如果站点内容质量得到提高,搜索引擎会更加青睐,从而增加蜘蛛的抓取频率,进而带来流量的上涨。 3. 站点结构优化:如果站点结构调整得当,蜘蛛能够更好地抓取页面,从而提高流量。 4. 站点权重提高:如果站点的权重得到提高,蜘

Public @ 2023-06-12 09:50:20

导致搜索引擎蜘蛛不能顺利爬行的因素

一、服务器连接异常服务器连接异常会有两种情况,一种是站点不稳定,搜索引擎尝试连接您的网站的服务器时出现暂时无法连接的情况;另一种是搜索引擎一直无法连接上您网站的服务器。造成服务器连接异常的原因通常是您的网站服务器过大,超负荷运转。也有能是您的网站运行不正常,请检查网站的web服务器(如Apache、IIS)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问。您的网站和主机还可能阻止了蜘蛛的访

Public @ 2013-04-30 16:22:37

各搜索引擎蜘蛛介绍

蜘蛛指的是通过互联网上的链接自动抓取网页的程序,主要用于搜索引擎中的搜索内容,以下是常见的搜索引擎蜘蛛介绍: 1. Google蜘蛛(Googlebot):Google的搜索引擎蜘蛛,通过自动爬取互联网上的网页内容,为Google搜索的相关结果提供支持。 2. 百度蜘蛛(Baiduspider):百度搜索的搜索引擎蜘蛛,通过抓取网页内容和链接,组成网页库,支持百度搜索结果的呈现。 3. 必应

Public @ 2023-03-30 10:00:26

更多您感兴趣的搜索

0.504127s