Baiduspider对网页的抓取，是通过网页与网页之间的链接实现的。
网页之间的链接类型，除了站点内部的页面链接之外，还有不同网站之间的互相链接。因此，某些网页即便通过您的网站内部链接无法访问到，但是，如果别人的网站上有指向这些页面的链接，那么这些页面还是会被搜索引擎所收录。
百度Spider的访问权限，和普通用户是一样的。因此，普通用户没有权限访问的内容，Spider也没有权限访问。之所以看上去某些访问权限限制内容被百度收录，原因有两点：
A. 该内容在Spider访问时是没有权限限制的，但抓取之后，内容的权限发生了变化
B. 该内容有权限限制，但是由于网站安全漏洞问题，导致用户可以通过某些特殊路径直接访问。而一旦这样的路径被公布在互联网上，则Spider就会循着这条路径抓出受限内容
如果您不希望这些私密性内容被百度收录，一方面可以通过Robots协议加以限制；另一方面，也可以通过反馈中心反馈给我们进行解决。
当您使用百度搜索出现上述情况时，极有可能是您被 “ 劫持 ” 了。 解决方案：1、建议您尝试加密连接 https://www.baidu.com 进行搜索，看看问题是否依然存在。（1）需要注意的是，如果您的 IE 浏览器版本较低，比如在 IE8 及以下版本的浏览器中，是无法通过 https 加密链接使用百度服务的。（2）我们强烈建议您对 IE 浏览器进行升级，或使用更高级别的浏览器，如百度浏览器、
Google搜索 http://www.google.com/intl/zh-CN/add_url.htmlGoogle网页目录 http://directory.google.com/Top/World/Chinese_Simplified/百度搜索 http://www.baidu.com/search/url_submit.html百度网址站 http://post.baidu.co
要让你的网站被百度收录，你可以执行以下几个步骤： 1. 创建和提交 sitemap： 创建网站地图（sitemap）并将其提交给百度站长平台。网站地图是一个包含你网站所有页面的清单，百度蜘蛛可以通过这个清单更好地了解你的网站结构。 2. 提交网站URL： 在百度站长平台上提交你的网站URL，这将通知百度搜索引擎你的网站的存在。提交时，确保提供准确且完整的网站URL。 3. 注册百度站长平台：
搜狗严格遵循搜索引擎Robots协议，详细内容，参见http://www.robotstxt.org/您可以设置一个Robots文件以限制您的网站全部网页或者部分目录下网页不被搜狗收录。如果您的网站在被搜狗收录之后才设置robots文件禁止抓取，那么新的robots文件通常会在48小时内生效，生效以后的新网页，将不再建入索引。需要注意的是，robots.txt禁止收录以前搜狗已收录的内容，从搜索结
