通过网站日志分析，会发现搜索引擎蜘蛛抓取了一些网站上不存在的文件后缀，如：.php、.asp、.aspx等。
搜外网站后台日志分析结果如下图：
image.
搜外主站实际上不存在php后缀的URL地址。
可通过robots.txt文件禁止蜘蛛抓取不存在的后缀，减少出现404返回值。
在robots.txt文件填写屏蔽规则如下：
Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$
注意前面一个*，后面一个$，代表后缀。
参考搜外的robots.txt文件写法，点击这里
来源：搜外网
要提交Sitemap到360搜索站长平台，您可以按照以下流程操作： 1. 登录360搜索站长平台。如果您还没有账号，可以直接使用360账号登录。 2. 在站长平台首页，点击左侧菜单栏的“网站管理”。 3. 在网站管理页面，找到您需要提交Sitemap的网站，点击网站名称进入网站详情页面。 4. 在网站详情页面，点击左侧菜单栏的“站点地图”。 5. 在站点地图页面，点击“新建地图”按钮。
| 什么是网站301？● 不带www的域名301到带www的域名● 老的链接301给新的链接| 为什么做网站301？● 权重集中● 权重传递| 如何做网站301？● 服务器上，宝塔面板● 服务器技术操作● IDC服务器面板上实现● 网站程序后台实现注：index不用301给主域名；动态URL不用301给伪静态链接。（搜外网）
robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站时，首先会检查该网站中是否存在这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
obots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。如：https://www.seowhy.com/robots.txt 是有效的。https://www.seowhy.com/a/robots.txt 是无效的。以下3种情况需要注意：1、如果手机网站采用的是m.的二级域名，要给手机网
