robots.txt 是一个标准，它通过提供一些规则，告诉搜索引擎爬虫哪些网页可以被爬取，哪些网页不应该被爬取。但是，一些搜索引擎爬虫可能会忽略这些规则，直接抓取它们想要的网页。 此外， robots.txt 文件的存在只是一个建议而不是命令。在一些情况下，搜索引擎爬虫可能会收录被 robots.txt 文件所屏蔽的网页，这有可能是因为发布这个网页的人想要让它被收录，也有可能是因为机器人误解了 robots.txt 文件。 因此，网站所有者仍然需要使用其他策略，如更新网页的元标记和标题标签，以及在页面上指示搜索引擎不索引。
1. 打开网站的.htaccess文件，添加以下代码： ``` Redirect 301 /old-page.html http://www.yourwebsite.com/new-page.html ``` 2. 在301重定向前，确保新页面已经正常运行，并且地址没有变更。 3. 如果有多个旧页面需要重定向，可以逐个添加301重定向代码。 4. 重定向的目标地址必须是正确的URL
内容与结构的优化，在站内优化中占很大的比例，一般包括首页、栏目页内页和各种聚合页面的优化，分为以下四个方面：1、中间商品展示栏为所有商品图片增加alt"图片注释，注释直接调用商品名称即可。2、商品分类页在大型广告栏上方增加频道标题与简短描述般60~80个中文字为宜。为所有商品图片增加alt="图片注释，注释直接调用商品名称即可，这样做的好处是当图片不能完全显示的时候还能保持文字
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫扫除规范”（RobotsExclusionProtocol），网站经过Robots协议通知查找引擎哪些页面可以抓取，哪些页面不能抓取 是查找引擎的一部分来定位和索引互联网上的每个可能答复查找恳求的网页，一般只在评论robots的HTML标签或许robots.txt文件的时分运用。
360搜索对Robots协议进行了扩展，增加了以下几个指令： 1. User-Agent：用于指定搜索引擎访问网站时使用的用户代理字符串，可以设置多个User-Agent。 2. Crawl-delay：用于指定搜索引擎访问网站时的延迟时间，单位为秒。可以设置针对不同的User-Agent的延迟时间。 3. Sitemap：用于指定网站的sitemap文件的地址，搜索引擎将通过该文件获取站点
