我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
互联网发展至今，分类信息仍然是网民重要的需求之一，伴随着“互联网+”的发展，分类信息的重要性越发突出，虽然互联网的流量被各类型的平台所瓜分，但通过搜索引获取分类信息仍然是网民重要的渠道之一，这就为我们运营分类信息的站长带来巨大的机遇。分类信息想依靠搜索引擎获取大量流量，前提是必须有海量的数据，越多越好，数据多，才有可能被收录，从而获得大量的流量，下面就介绍4种常见的利用搜索引擎推广分类信息方法。一
1. 外部链接质量：外部链接是指从其他网站链接到你的网站。搜索引擎会认为链接到你网站的其他网站越多，你网站的权威性越高，排名也就越高。但是这里面存在一些细节要求：链接的来源必须是可靠的、与你网站内容相关的，链接的文本也要合理且与网站内容相关。 2. 网站内容：搜索引擎会根据网站内容的质量来评定网站的排名。同类型的网站之间，内容越丰富、专业，排名越靠前。同时，网站的内容质量不仅仅是文字说明，还包括
鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文
一些域名之前通过robots.txt文件屏蔽了蜘蛛，后来对搜索引擎开放了，但搜索结果里，还是显示以下内容:“由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述。”解决办法：在百度上搜索该域名，在搜索结果页面的末尾，点击用户反馈。来源：搜外网
