• 0

    用户访问量

  • 0

    注册用户数

  • 0

    在线视频观看人次

  • 0

    在线实验人次

MMSEG分词工具

作者:云创智学|发布时间:2021-11-29 11:35:55.0|来源:云创智学

MMSEG分词算法中包含了4种符合汉语语言中基本的成词习惯的歧义消解规则,如下图:


MMSEG分词算法中有两个重要的概念:Chunk和规则(Rule)。其中,一个Chunk就是一段字符串文本的一种分割方式,包括根据上下文分出的一组词及各个词对应的4个属性。规则的目的是过滤掉不符合特定要求的Chunk。为便于理解,我们可以将规则看做过滤器。


Chunk中各属性及其含义

联系方式
企业微信