站点地图生成工具
Xenu Link Sleuth
可同时生成html格式地图(适用于小型站点)和XML格式地图。
XML Sitemap
在线生成工具,网站地址很多时,会比较浪费时间,要是生成所有的时候需要收费。
Sitemap Generator
强大的sitemap生成器,需下载安装客户端
Robots META标签中没有大小写之分,name="Robots"表示所有的搜索引擎,可以针对某个具体搜索引擎写为name="BaiduSpider"。 content部分有四个指令选项:index、noindex、follow、nofollow,指令间以","分隔。INDEX 指令告诉搜索机器人抓取该页面;FOLLOW 指令表示搜索
Apache为Apache Server设置 404错误页面的方法很简单,只需:(1)在.htaccess文件中加入如下内容:ErrorDocument 404 /notfound.php,将.htaccess文件上传到网站根目录。(2)制作一个404页面,随便您设计,命名为notfound.php,同样上传到网站根目录。注意:(1).切记不要将404错误转向到网站主页,否则可能会出现主页在搜索引
ETag 是一种用于标识网络资源的字符串。ETag 是由服务器为每个资源生成的,并且在资源内容发生变化时会改变。 ETag 主要用于缓存控制和条件请求。以下是 ETag 的一些作用: 1. 缓存验证:当客户端请求资源时,可以在请求头中通过 If-None-Match 字段将上一次请求中得到的 ETag 值发送给服务器。服务器可以根据这个值来判断资源是否发生了变化。如果 ETag 值匹配,服务器
是的。您需要在网址中提供协议。例如,http://www.example.com/ 对 Sitemap 来说是有效网址,而 www.example.com 则不是。