要避免搜索引擎蜘蛛爬取某个页面，可以在robots.txt文件中添加如下指令： User-agent: * Disallow: /index.htm 这样，所有搜索引擎蜘蛛都不会爬取网站的index.htm首页页面。注意，这并不代表该页面会从搜索结果中彻底移除，因为即使没有被索引，用户仍然可以在搜索结果中找到该页面。
删除不良页面是否对SEO有所帮助？大多数人会有这样的观点：消除网站“死角”将帮助Google专注于重要的页面。简而言之，就是删除一些页面之后，我们在站点地图中向Google提交的页面就会变得更少，而Google可以更好地专注于网站的重要页面。对此，谷歌的 John Mueller 回答说：删除页面可能会让其余页面的性能变差，更少的页面也不利于更高的排名。盲目删除页面甚至会对您的SEO效果产生负面影
- 优化网站加载速度，减少元素的大小，使用压缩技术等。 - 合理安排博客文章的布局，增强可读性。 - 引入关键词。使用针对关键词的元标签，使搜索引擎有利于抓取。 - 基于社交媒体的优化，合理安排帖子，给予网站分享推广。 - 根据访客数据优化网站内容，提高访客转化率。 - 对用户行为和搜索意图进行分析，优化网页的内容体验，吸引用户的注意力。 - 有效使用链接，降低网站外部
360搜索根据站长们的反馈，会陆续推出扩展的Robots协议命令。这些命令将能帮助站长们提高和360搜索爬虫沟通的效率，减少站长们维护Robots协议文件的技术成本。360搜索首个扩展命令是：indexpage，站长们可以使用此命令告知360搜索哪些网页经常更新。360搜索会根据站长的指示以及自己的算法，智能调整爬虫抓取频率，实现对您网站新内容的更高频率抓取。在命令中可以使用*、$等通配符。示例：
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。搜索引擎通过一
