用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径
我以前曾经提到过，网站的图片是非常耗费流量的，去年我就曾经统计过，两天的时间博客有20多G的访问流量，图片所在的目录upload占用了18.6G，而文章所在目录只用了1.3G流量，可见图片占用流量资源之巨大，这也就是很多人都喜欢将图片文件放在第三方免费网络相册的原因。然而，如果条件允许的话（比如有独立的服务器，充足的流量），那么将图片存储在自己的网站空间，反而可以利用搜索引擎的图片搜索给自己带来不
当网站发展到一定时期，想要扩大网站规模、建立新频道的时候，相信很多人和我一样在选择二级域名和二级目录上犯了难。这篇文章我深入分析之后给出了答案。如果你的网站在使用二级域名和二级目录捉摸不定的时候，看看此文，会对你有所帮助的。首先，我们来看看什么是二级域名，什么是二级目录？1：二级域名:需要创建二级域名，设置DNS，修改A记录，指定IP等操作。具体建网站或者编辑网页时，需要对不同二级域名下的内容分开
搜索引擎通过一种程序robot(又称spider)，自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游
robots.txt 是一个文本文件，用于指示搜索引擎爬虫哪些页面可以被抓取，哪些页面不应该被抓取。在建立一个网站时，可以通过 robots.txt 控制搜索引擎爬虫对网站的访问，以达到更好的SEO效果。以下是robots.txt的使用教程。 步骤1：新建 robots.txt 文件 在网站的根目录下，新建一个名为 robots.txt 的文本文件。 步骤2：编辑 robots.txt 文件
