Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
以下是禁止搜索引擎收录网站的方法： 1. Robots.txt文件 在网站根目录下建立一个名为“robots.txt”的文件，通过添加禁止搜索引擎收录的指令来控制搜索引擎抓取页面的行为。 2. HTML标签 在网页头部添加的标记，使其被搜索引擎识别为不允许被收录的页面。 3. 登录权限 通过设置网站登录权限，使未登录用户无法访问该网页，从而使搜索引擎无法抓取该页面内容。 4. 封锁I
首先，Frame和iframe代码框架的意思是在当前页面中插入另一个页面,可以说是调用也可以说是使用代码插入。比方我们在的页面为a.html 对于a.html的页面我们存在不满意,但是为了达到某种目的。而再创建以个页面b.html 然后把b.html用js调用的方式或是其他div以及代码方式插入到a.html 。可以理解为b.html是当前页面中(a.html)的独立子页面,与父页面同时展示。需要
以下是一些可能有用的建议： 1. 提交网站地图：确保您的网站有一个完整的网站地图，并将其提交给百度搜索引擎。这将使百度更容易发现和更新您的网站信息，并且可以加快更新的速度。 2. 更新网站内容：如果您的网站更新了，请确保尽可能快地更新您的网站内容。这可以使搜索引擎更容易发现和索引您的网站，并且可能会加快更新的速度。 3. 增加外部链接：在其他网站上发布链接指向您的网站，这会使搜索引擎更容易发
在站长群里，大家每天聊的无外乎就是网站的收录量，获得关键词排名地位等等，其中聊的比较多的就是网站的内容收录数量，有的网站约收录30%，有的网站则约收录70%，有的网站收录率可以达到100%.每一个网站的收录情况都是不一样的，所以，每当站长在讨论这个事情的时候，收录数量少的站长都会认为自己的网站没有做好，或者抱怨百度搜索平台不公平，特别对于新手站长来说，碰到收录页面数量较少的，更为头疼，根本无从下手
