我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
每年都会收到许多合作案或是SEO需求，但是今年似乎特别多，并没有因为景气的影响，或是也可能景气不好，所以特别需要SEO。不管如何，显示了SEO已经被更多业者所了解并且需要，所以未来的一年应该是SEO更茁壮的一年。以下我们整理了2013年的SEO优化策略应该规划的方向，以及SEO的未来趋势:2013年的SEO优化策略应如何规划 SEO优化 SEO推广 第1张(1) 分散流量仍是各网站必须注意最重要的
网站没有任何排名的根本原因就是网站自身出现了问题，大部分是因为很多建站公司只会按照客户要求来建站，其他的优化设置都不会去做，那基本上一个网站想要好的排名，需要做哪些操作?关于排名良好的网站有一些基本的共性特征，下面简单介绍想获取SEO排名要考虑哪些要素。1、SEO关键词分析简单可以理解为你的目标用户一般会通过搜索什么词语去了解他想要的，然后通过这个词语的搜索，可以看到你的网站。所以在进行网站设计时
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分:<meta name="robots" content="noarchive">要允许其他搜索引擎显示快照，但仅防止搜索引擎显示，请使用以下标记:<meta name="Baiduspider" content="noa
