1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力； 6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容； 7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
自己 1. SEO优化：对TAG列表和项目列表进行关键字优化，保证网站更容易出现在搜索引擎搜索结果中。 2. 新增网站如果可能，从网站结构与用户体验出发，进行优化，在TAG列表和项目列表中添加滚动显示、图片幻灯片等功能，令网站更具互动性，让用户在体验上更快找到所需信息，避免用户对页面的漫长时间浏览。 3. 添加更多与企业文化和项目类别相关的页面，使页面更加细分，关联度更强，让用户在查找信息时
对于不规范化的二级域名网址，可能存在以下几种情况： 1. 没有合适的主域名，直接使用二级域名作为网址，如：http://abc.com，http://def.xyz。 2. 使用无实际含义的拼音或英文字母命名二级域名，如：http://qwerty.cn，http://abcd.com。 3. 使用特定的单词或短语作为二级域名，与网站内容无关，如：http://apple123.com，ht
百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。如何查看网站被百度抓取的情况？查看日志的方式：通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同，不
不要看所谓的IP段，IP也不是一沉不变的，过去开头有220.181的 大家都知道，但是后面百度方面在不同的城市都建立了更多的服务器，总要有IP的增加，而IP段不可能一直是固定的那几个。所以单纯的以IP段来看，是非常不严谨的。那么如何查看呢？可以使用cmd命令： nslookup IP地址 的方式来进行查看，如果返回的信息中，有百度子域名，那么说明是百度的IP，如果无法返回，或者返回了诸
