1. Robots.txt是一个协议，用于控制搜索引擎爬虫的访问范围。 2. Robots.txt文件位于网站的根目录下，包含了一些指令告诉爬虫哪些页面可以访问，哪些页面需要限制访问。 3. Robots.txt文件并不会阻止所有爬虫的访问，只有支持Robots.txt协议的爬虫才会遵守文件中的指令。 4. Robots.txt文件中的指令可以根据不同的爬虫进行个性化设置，可以控制不同爬虫访问不同的页面。 5. Robots.txt文件中可以使用通配符设置规则，如“*”代表任意字符，“$”代表结尾等。 6. 一些常见的搜索引擎会读取Robots.txt文件，如Google、Baidu、Bing等。 7. Robots.txt文件可以更改，如果需要让某些页面对所有爬虫开放或限制访问，可以通过修改文件来实现。 8. 另外，Robots.txt文件是公开的，任何人都可以访问，因此需要慎重处理敏感信息的指令。
URL是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。我们看到的互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。URL优化也需要讲究一些准则，按照以下方法优化下去，搜索引擎会更加喜爱你的网站哦。URL优化方法1、文件和目录的描述性名称一致对英文网站来说，目录名称以及文件名应该具备一定的描述性，以便于
1. 理解 HTTP 状态码 301/302： HTTP 状态码是用来告知浏览器服务器返回的状态信息，它是用来表示网络交互中出现的状态。301 是永久性跳转，指示浏览器所请求的页面已永久性移到新位置。302 是临时跳转，表示浏览器访问新的页面时会被重定向到另一个暂时的网址，会在指定的时间后返回原来的网址。 2. 定义 301/302 跳转： 要定义 301/302 跳转，首先要明确目的，
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。INDEX 指令告诉搜索机器人抓取该页面；FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；Robots Me
Robots.txt 是一个网站管理员可通过在站点根目录中放置一个名为robots.txt的文件来让搜索引擎（及其爬虫）知道该如何来收录并处理某些目录或页面，并使索引过程更加有效更加规范。 Robots.txt 的作用是向搜索引擎解释网站中哪些目录和文件希望被搜索引擎收录、哪些不希望收录，以避免搜索引擎抓取到网站误差的内容。如果 robots.txt 被恰当地设置，可以有效提高收录质量和网站
