这四种情况下，需查询域名或链接的http状态码：
1、域名做了https，需查询http的域名是否301到https的域名上；
2、多个域名解析同一个网站上，需查询次要域名是否301到主域名上；
3、查询老域名内页是否301给新域名的对应内页；
4、查询网站内部死链接，是否正确返回404；
5、查询不带www的域名是否301给带www的域名。
来源：搜外网
微软的Windows7系统上市时，在新浪、搜狐、网易、太平洋等主流网络媒体都进行了专题报道，别以为这是自愿的，其实都是花了钱的。如果说网民在论坛看帖子可能一两分钟，在视频网上看三四分钟，那么在其专题上可能花半小时，这就是为什么微软要花钱做专题了。网站专题的丰富内容吸引着数量庞大的网民只需关注该信息，而且会吸引中小网站的关注，在加上其内容不断更新，是所有推广工具中最昂贵的方式，价格相当高。当然卢松松
与关键词有关的页面排名因素如下：域名中包含关键词。目录名中包含关键词。文件名中包含关键词。描述标签中使用关键词。关键词标签中使用关键词。图片ALT文字中使用关键词。关键词子域名中包含关键词。HTML注释标签中使用关键词。页面文件扩展名中出现关键词。H1标签中任何地方使用关键词。页面上列表(<i>)中出现关键词。页面文字中关键词使用和重复次数。H1标签中第一个字或词使用关键词。标题标签中
近期，百度站长平台发现有一些网站把未建好的页面放到线上，并且这些页面在被百度抓取的时候返回码是404，于是页面被百度抓取后，会被当成死链直接删除。但是这个页面在第二天或者过几天就会建好，并上线到网站内展现出来，但是由于之前已经被百度当做死链删除，所以要再次等这些链接被发现，然后抓取，才能展现，这样的操作最终会导致一些页面在一段时间内不会在百度出现。比如某个大型门户网站爆出大量新闻时效性很强的专题未
问题：爬虫抓取诊断403什么意思？回答：403就是没有权限的意思，我们不建议搜索引擎抓取这样的页面，站长可以使用robots.txt对不希望搜索引擎抓取的页面或者目录进行屏蔽，这样就不会再返回403状态码了！来源：A5营销
