通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
一般来说，url当中的#号是一个锚点的标志位，这样的url打开之后会将访问者的视线定位在指定位置上，令访问者直接看到网页中间的一段内容。自从推特流行开始，#号被附予了新的意义——话题。很多站长直接在#号后面加参数且参数是有效的，即#号去掉与不去掉，打开的网页完全不同。目前百度对带#号URL的收录策略是：去掉#号后面的内容，仅对#号前面的url进行建库。这样就导致一些站长认为有意义有价值的页面，百度
最初，链接多半是为了介绍其它连接给访问者，然而，随着搜索引擎门户网站(如百度，谷歌)的崛起和介入，一个网站外部链接的作用变得更加重要了，用户通过超级链接获得丰富的网站内容，搜索引擎蜘蛛也是沿着一个网站的页面链接层层跟踪深入，完成对该网站的信息抓取。链接是搜索引擎判断一个网站是否优秀，是否重要的一个重要因素。尤其是Google来说，当有很多网站主动连接一个网站时，搜索引擎会认为那个网站很重要，给予的
百度各个产品使用不同的user-agent:无线搜索Baiduspider-mobile图片搜索Baiduspider-image视频搜索Baiduspider-video新闻搜索Baiduspider-news百度搜藏Baiduspider-favo百度联盟Baiduspider-cpro商务搜索Baiduspider-ads网页以及其他搜索Baiduspider来源：360站长平台
Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬
