Meta robots标签是一种HTML头部元数据标签，用于指示搜索引擎如何处理指定页面的内容。它告诉网络爬虫如何爬取索引优化。这些标签是在
和之间添加的，旨在为“robots（搜索引擎蜘蛛）”提供有关如何索引和缓存页面内容的指令。 以下是meta robots标签的写法： - - - - 其中，“content”属性指定一组用逗号分隔的值，可以是以下之一： - index：告诉爬虫允许索引该页面； - noindex：告诉爬虫不允许索引该页面； - follow：告诉爬虫允许跟随页面上的链接； - nofollow：告诉爬虫不允许跟随页面上的链接。网站物理结构指的是网站真实的目录及文件所在的位置所决定的结构。物理结构一般分有两种:第一种是偏平式，也就是所以网页文件都存在网站根目录下。如果有很多文件放在根目录下，制作和维护起来都比较麻烦。大中型网站把文件都放在根目录下基本就无法管理了。扁平物理结构有一个优势，那就是很多人认为根目录下的文件比深层目录中的文件天生权重高一点。第二种是树形结构，称为金字塔结构。根目录下以目录形式分成多个产品分类（频
是的。您需要在网址中提供协议。例如，http://www.example.com/ 对 Sitemap 来说是有效网址，而 www.example.com 则不是。
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。搜外网站后台日志分析结果如下图：image.搜外主站实际上不存在php后缀的URL地址。可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。在robots.txt文件填写屏蔽规则如下：Disallow: /*.asp$Disallow: /*.php$Disallo
