爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。
1、蜘蛛：
搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。
2、跟踪链接：
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。
3、吸引蜘蛛：
理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。
4、地址库：
为了避免重复爬行和抓取网址，搜索引擎会建立一个地址库，记录已经被发现还没有抓取的页面，以及已经被抓取的页面。
5、文件储蓄：
搜索引擎蜘蛛抓取的数据存入原始页面数据库。其他的页面数据与用户浏览器得到的HTML是完全一样的。每个URL都是这样一个独特的文件编号。
来源：搜外网
中文分词(Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。TF-IDF（term frequency–inverse document frequency）是一种用于信息搜索和信息挖掘的常用加权技术。在搜索、文献分类和其他相关领域有广泛的应用。TF-
爬行和抓取 是搜索引擎工作的第一步，完成数据收集任务。1、蜘蛛：搜索引擎用来爬行和访问页面的程序被称为蜘蛛（spider），也称为机器人（bot）。2、跟踪链接：为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也是搜索引擎蜘蛛这个名称的由来。3、吸引蜘蛛：理论上蜘蛛能爬行和抓取所有页面，但实际上不能，也不会这么做。SEO人员想要让
一位读者在蜘蛛抓取配额是什么这篇帖子留言：不对呀，这个index标签，是指告诉蜘蛛可以抓取该页面，那么noindex不就是不允许抓取该页面吗？！那么为什么文章最后的几个说明里有“noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签，就得先抓取这个页面，所以并不节省抓取份额。”留言说明，这位读者并没有太明白什么是抓取，什么是索引，index和noindex标签的意义又是什么。
爬行和抓取在计算机领域中都指数据采集的过程。 爬行是指使用网络爬虫程序，通过抓取网页上的数据来建立一个数据集。例如，搜索引擎就使用网络爬虫程序来收集网页上的内容，以便用户进行搜索。 抓取则是指通过编写程序从特定的网站或数据源上抓取数据，以便进行分析或者处理。例如，电商平台可以使用抓取程序从竞争对手的网站上抓取商品价格信息，以便制定自己的价格策略。 总的来说，爬行和抓取都是数据采集的方式，只是
