Categories

Tags

robots.txt文件放在哪里?

robots.txt文件放在哪里?

robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如 http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站 URL

相应的 robots.txt的 URL

http://www.w3.org/

http://www.w3.org/robots.txt

http://www.w3.org:80/

http://www.w3.org:80/robots.txt

http://www.w3.org:1234/

http://www.w3.org:1234/robots.txt

http://w3.org/

http://w3.org/robots.txt

来源：百度搜索资源平台 百度搜索学堂


 Public @ 2017-01-09 16:08:57

URL静态化还是不静态化？

数据库驱动的网站需要将URL静态化，一直以来都是SEO最基本的要求，可以算是个常识性的东西。现在恐怕也没有不是数据库驱动的网站了吧。近几年SEO行业一致认为，URL中带2-3个问号不是问题，搜索引擎通常都能收录，尤其是权重高点的域名，更多几个问号也不是问题。但无论如何一般还是建议URL静态化。2008年9月份，Google站长博客发表了一篇讨论动态网址还是静态网址的帖子，却颠覆了这个说法。在这篇帖

 Public @ 2015-11-12 16:11:04

阻止个人信息在搜索引擎中出现

个人信息一旦在网上发布，很有可能会被百度搜索引擎抓取，特别是在知名社交网站、专业网站上发布的内容。可能您并不希望这类个人信息出现在百度搜索结果中，以下方式可以帮助您阻止个人信息在搜索结果中出现。如果您是在其他网站上发布的内容：1、在社交网站中（例如人人网，开心网等），您可以针对个人信息设置浏览权限，例如只有朋友或者自己可以浏览；如果您不愿让陌生人看到某些照片或信息，则应该慎重考虑是否公开发布这些内

 Public @ 2016-01-12 16:08:57

更多您感兴趣的搜索

0.474666s