中文分词的重要概念:条件随机场(Conditional Random Fields, CRFs)

中文分词的重要概念:条件随机场(Conditional Random Fields, CRFs)

一般序列分类模型常常采用隐马模型(HMM), 像基于类的中文分词, 但隐马 模型中存在两个假设: 输出独立性假设和马尔可夫性假设. 其中, 输出独立性假设要求序列数据严格相互独立才能保证推导的正确性, 而事实上大多数序列数据不能 被表示成一系列独立事件. 而条件随机场则使用一种概率图模型, 具有表达长距离依赖性和交叠性特征的能力, 能够较好地解决标注(分类)偏置等问题的优点, 而且所有特征可以进行全局归一化, 能够求得全局的最优解.

Copyright © 浩然东方 保留所有权利.   Theme  Ality 07032740

用户登录