要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
从近两年我个人的SEO服务项目情况看，有越来越多的公司需要做多语言网站优化。国内外贸SEO做多语种网站，以电商公司居多，要往外卖产品。国外公司也有不少要做中文网站，不过电子商务类的不多，大品牌、留学／移民之类的比较多。如果涉及语言比较少，比如只有英语和中文网站，语言使用范围不复杂的话，做SEO时倒没有什么特殊要求，英文、中文网站可以放在两个独立域名上，也可以放在同一个域名的两个子域名上，甚至可以放
1.新站点：如果您的网站是新站点，搜索引擎则需要时间来发现并收录您的站点。您可以通过提交站点地图或使用搜索引擎的 Webmaster 工具来加速索引。 2.网站结构问题：如果您的网站结构复杂，搜索引擎可能无法完全抓取并索引您的页面。您需要确保您的网站结构清晰，并使用正确的标记和元素。 3.缺乏质量内容：搜索引擎收录的主要目的是提供高质量的搜索结果。如果您的网站内容质量不佳或与其他网站内容相似，
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:User-agent:*Crawl-delay:10来源：360站长平台
Robots.txt文件应放在网站的根目录下。
