我robots这样写是不是就能避免蜘蛛爬这个“index.htm”这个首页？
User-agent: *
Disallow: /index.htm
11-30.
我的index.htm是现在默认的首页，想屏蔽蜘蛛抓取。让蜘蛛爬另一个文档，主要是规避备案巡查
我的网站和我备案的不一样，服务器那边要求改，我就整了个htm文档来规避下。
写法没有问题。但正常的不建议屏蔽首页地址，，“index.htm”这个后缀地址是需要处理掉的。
当然，如果只是应付备案短暂需求，，就只能这样处理。
后续备案处理后，尽快处理后缀“index.htm”。同时robots修改回去。
来源：搜外网
什么是域名连词符？域名中包含关键词对SEO有些好处，但是这种好的域名一般早就被注册过了，很多SEO就转而注册用连词符把关键词分开的域名。比如A1A2.com(A1和A2是关键词)早就被注册了，站长转而注册A1-A2-A3.com。现在不建议注册这种使用连词符、包含关键词的域名。因为特殊原因包含一个连词符问题不大，包含两三个，则可能弊大于利。第一，连词符给用户的印象不好，很容易让人联想到垃圾甚至骗局
服务器日志是服务器记录的各种系统和应用程序事件的文件。它们包括错误、警告和信息性事件，以及与服务器相关的活动。 服务器日志文件通常存储在特定的目录中，具体位置取决于操作系统和服务器类型。一般情况下，可以通过以下方法查看服务器日志： 1. 打开控制台：登录到服务器并打开控制台。控制台提供了一种快速查看日志文件的方法。 2. 使用命令行工具：在控制台或SSH会话中使用适当的命令行工具来查看日志
误区一:我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反正如果该文件不存在，所有的搜索蜘蛛将默认能够访问网站上所有没有被口令保护的页面。每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该做网站中添加一个robots.txt
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
