分词 | 浩然东方

互联网时代的社会语言学：基于SNS的文本数据挖掘

今年上半年，我在人人网实习了一段时间，期间得到了很多宝贵的数据，并做了一些还算有意义的事情，在这里和大家一块儿分享。感谢人人网提供的数据与工作环境，感谢赵继承博士、詹卫东老师的支持和建议。在这项工作中，我得到了很多与众人交流的机会，特别感谢 OpenParty 、 TEDxBeijing 提供的平台。本文已发表在了《程序员》杂志，分上下两部分刊于 2012 年 7 月刊和 8 月刊，在此感谢卢鸫翔编辑的辛勤工...

2012年10月08日学习小计暂无评论喜欢 0 阅读 1 次阅读全文

基于Lucene的中文分词实现：基于StopWord分割分词

Lucene应用越来越多，在对中文对索引过程中，中文分词问题也就越来越重要。在已有的分词模式中，目前比较常用的也是比较通用的有一元分词、二元分词和基于词库的分词三种。一元分词在Java版本上由yysun实现，并且已经收录到Apache。其实现方式比较简单，即将每一个汉字作为一个Token，例如：“这是中文字”，在经过一元分词模式分词后的结果为五个Token：这、是、中、文、字。而二元分词，则将两个相连的汉...

2008年12月24日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

信息检索的核心支撑技术

从历史上看，信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。
目前，信息检索已经发展到网络化和智能化的阶段。信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容；信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众，他们对信息检索从结果到方式提出了更高、更多样化的要求。适应网络化、智能化以及个性化的需要是目前信息检索技术发展的新趋势。

2008年12月24日技术文章暂无评论喜欢 0 阅读 1 次阅读全文

什么是中文分词？

众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我...

2008年12月17日未分类暂无评论喜欢 0 阅读 1 次阅读全文

百度中文分词技术

[tags]分词方法,seo,中文分词技术,基于字符串匹配,分词算法,基于理解,基于统计[/tags] 中文分词技术英文是以词为单位的, 词和词之间是靠空格隔开, 而中文是以字为单位, 句子中所有的字连起来才能描述一个意思。例如, 英文句子 “ I am a seoer” , 用中文则为: “ 我是一个搜索引擎优化师” 。计算机可以很简单通过空格知道 seoer是一个单词。但是不能很容易明白“ 搜索引擎” 、 “ 优化师” 几个个字合起来才表...

2008年12月17日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

分词方法一：从字构造词

关于搜索引擎技术中的中文分词，让很多全文检索爱好者都头痛不已，这里我将几篇有用的文章介绍给大家。现有的中文分词方法基本上都是采用基于词表的正(反)向最大匹配法进行词语切分。不过这种分词方法具有一个最大的问题，对于未登录词（也就是在词表中并未录入的词）的切分具有先天的不足，一般的解决方法是在基于正向最大匹配法切分模块后再加入一个未登录词模块，用于处理对于未登录词的切分。而在中文...

2008年12月03日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

分词方法二：正向最大匹配分词(FMM)

正向最大匹配分词方法的基本思想是:假设字典中最长的关键字的长度为i,取当前待处理文本的前i个字作为匹配字段w,在字典中查找,若字典中有w, 则匹配成功,w即做为一个词被切分出来;如果匹配失败,则去掉w的最后一个字,继续去字典中查找. 切分出w后,继续对w之后的字词进行上面步骤的切分,直到切分出所有的词为止. 梁南元先生在其论文《书面汉语的自动分词与另一个自动分词系统CDWS》提到，FMM方法的错误切分率为...

2008年12月03日未分类暂无评论喜欢 0 阅读 1 次阅读全文

分词方法四：基于统计分词

即利用统计语言模型分词的方法。几乎所有准确率高的中文分词器都会使用统计语言模型实现分词。对于统计语言模型的介绍请参阅 http://googlechinablog.com/2006/04/blog-post.html 统计语言模型 (Statistical Language Models) Google 的使命是整合全球的信息，所以我们一直致力于研究如何让机器对信息、语言做最好的理解和处理。长期以来，人类一直梦想着能让机器代替人来翻译语言、识别语音、认识文字（不...

2008年12月02日编程开发暂无评论喜欢 0 阅读 1 次阅读全文

Google Web API打造站内搜索

Google Web API打造站内搜索 zhiqiangSeptember 5, 2006 IT技术 WordPress自带了站内搜索，可是搜索结果很不令人满意。它的搜索是通过MYSQL查询得来的，所以首先它无法分词和切词，对于中文搜索效果尤其差。其次它无法在搜索结果中高亮度和重点显示搜索关键词相关内容，而是显示一堆乱七八糟的东西。但用上Google Web API构建的站内搜索后，一切都迎刃而解。利用Google Web API，可以将搜索内容发送到Goog...

2008年05月02日技术文章暂无评论喜欢 0 阅读 1 次阅读全文