robots.txt文件是一个文本文件，用于向搜索引擎和其他机器人网站爬虫指定哪些页面或内容可以被爬取，哪些页面或内容不能被爬取。它的主要作用是为了控制搜索引擎和其他机器人网站爬虫访问和抓取网站内容，保护网站的隐私和安全。如果一个网站不想被某些搜索引擎或爬虫访问、爬取和索引，就可以通过robots.txt文件来禁止它们。另外，robots.txt文件还可以防止一些机器人抓取出现线上攻击或滥用等安全问题。因此，对于任何一个网站来说，编写一个有效的robots.txt文件都是非常必要的。
URL标准化指的是将URL（Uniform Resource Locator，统一资源定位符）转换为符合标准的格式。这个过程中，可能会将URL中的一些特殊字符进行编码，删除多余的斜杠、点等符号，去掉文件扩展名等。标准化后的URL可提高搜索引擎索引和页面排名的效率，也有助于用户更快捷、准确地访问网站。
死链（Dead Link）是指网页上已经失效但仍然出现在超链接中的链接，或者指向网页内的地址。 死链的标准通常有以下几点： 1. 服务器错误或页面不存在：点击链接后页面无法正常打开，出现404等错误页面。 2. 指向过期或已删除的网页：点击链接后打开网页内容已不存在或已过期。 3. 指向被禁止访问的网页：点击链接后无法打开，可能是因为网页被禁止访问或需要权限才能访问。 4. 指向已更改地
有同学问百度站长学堂一个关于robots的问题：我们有个站点的目录结构使用的是中文，这样式儿的：www.a.com/冒险岛/123.html，那在制作robots文件和sitemap文件的时候，可以直接使用中文吗？百度能获取到吗？在实际操作中我们发现，sitemap中有文件是可以生效的，但robots封禁貌似没有反应，所以想确认一下：robots文件是否支持中文?工程师解答：Baiduspider
robots.txt文件通常放在网站的根目录下，即与主页文件（如index.html）同一级目录下。例如，如果网站的域名是www.example.com，那么robots.txt文件的完整路径可能是www.example.com/robots.txt。
