词法基本分词的方法：

一、基于字符串匹配的方法

   基于字符串匹配的方法又称为机械分词方法或字典匹配方法，它主要依据词典的信息，按照一定的策略将待切分的汉字串与词典中的词条逐一匹配，若在词典中找到该词条，则匹配成功，否则做其它相应的处理。

1、正向最大匹配分词算法

   所谓词典正向最大匹配就是将一段字符串进行分隔，其中分隔的长度有限制，然后将分隔的子字符串与字典中的词进行匹配，如果匹配成功则进行下一轮匹配，直到所有字符串处理完毕，否则将子字符串从末尾去除一个字，再进行匹配，如此反复。

其基本思想是：假设己知机器词典中最长词条的长度为N，则以N作为减字开始的长度标准，首先将待扫描的文本串S从左向右截取长度为N的字符串W1，然后在词典中查找是否存在该字符串W1的词条。

如果匹配成功，则W1标记为切分出的词，再从待扫描文本串的N+1位置开始扫描；如果匹配失败，将截取长度减1后，再从S中截取此长度的字符串W1’，重复上述匹配过程,直至截取长度为1为止。以扫描完句子作为整个匹配过程结束。

2、逆向最大匹配分词算法

   逆向最大匹配分词法，其基本思想与正向最大匹配分词法大体一致，只是扫描方向换成了从右至左。换句话说，当扫描汉语句子时，根据词典中最长词条的长度，从句末开始向左截取出汉语字符串与词典中的词条匹配，匹配流程与减字法相同，直至扫描到句首为止。

3、双向最大匹配分词算法

   这种分词算法侧重于分词过程中检错和纠错的应用，其基本原理是对待切分字符串采用正向最大匹配和逆向最大匹配分别进行正向和逆向扫描和初步切分，并将正向最大匹配初步切分结果和逆向最大匹配初步切分结果进行比较，如果两组结果一致，则判定分词结果正确，如果存在不一致，则判定存在着切分歧义，需要进一步采取技术手段来消解歧义。

二、基于统计的方法

1、隐马尔可夫模型

   假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

2、条件随机场（CRF）

   它们的区别是：

①HMM 是有向图，CRF 是无向图；

②HMM 计算的是状态和观测的联合概率，而 CRF 计算的是状态基于观测的条件概率。

③HMM 多用于那种状态“原生”，观测是状态“生成”出来的场景。如，用 HMM 来生成一段语音，则状态对应的是音节（声韵母）或文字，而观测则是这个音节所对应的声学特征。

④CRF 则多用于那种观测“原生”。状态“后天”产生，用来标记观测的情况。如，用 CRF 来做文本实体标记。输入一句话“我有一个苹果”，CRF 处理后将“苹果”标记成了“水果”。这个时候，“苹果”是观测，而“水果”则是对应的状态。