中文分词 | 浩然东方

通过MySQL内置全文检索实现中文的相关检索

/** * @author : walkerlee * @copyright : www.neatstudio.com | www.walkerlee.net */ 转载请保留以上信息。注：本文使用的MySQL版本为：MySQL 4.0.x 在MySQL4中，是已经开始支持全文检索（索引）的了。但是只是对英文支持全文检索。由于英文在书写上的特殊性，使得分词算法相对中文来说，简单得多。一般来说，我们可以通过单词与单词之间的空格，以及标点符号来完成这个分词过程。但是就中文来说，...

2009年01月03日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

基于Lucene的中文分词实现：基于StopWord分割分词

Lucene应用越来越多，在对中文对索引过程中，中文分词问题也就越来越重要。在已有的分词模式中，目前比较常用的也是比较通用的有一元分词、二元分词和基于词库的分词三种。一元分词在Java版本上由yysun实现，并且已经收录到Apache。其实现方式比较简单，即将每一个汉字作为一个Token，例如：“这是中文字”，在经过一元分词模式分词后的结果为五个Token：这、是、中、文、字。而二元分词，则将两个相连的汉...

2008年12月24日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

站内搜索引擎真伪鉴别

有很多网站都在网页上加个“站内搜索引擎”、“搜索引擎”、“全文检索”等等相关字样。用户一用，结果发现，既不能多关键组合查询，也不能支持国际语法，甚至不能支持全文检索，就更别谈不支持相关性排序等真正的搜索引擎具备的功能了。这些搜索和真正的站内搜索引擎有和区别呢？真正的全文检索应具备相关性排序技术和分词索引功能。如果需要进行互联网的信息抓取和采集那么还需要网络...

2008年12月24日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

150行代码,搞定中文分词

中文分词一直是一个看起来似乎比较神秘的东西。记得java中的lucene好像自带了两个分词器。一个是按汉字分，就是一个字分成一个词。比如”我要到饭馆吃饭“，就被分成”我/要/到/饭/馆/吃/饭”.别一个是相邻的两个字分成一个词，分出来的结果是”我要/要到/到饭/饭馆/馆吃/吃饭”.然而这两种虽说在做搜索时建索引什么的操作时也是相当有用的，但是毕竟是一种权宜之计，咱不能一直停留在这个水平上。下面是来自Rl...

2008年12月24日未分类暂无评论喜欢 0 阅读 1 次阅读全文

文本挖掘,构造垃圾站

最近为ruby,ruby on rails的灵活和魔幻而着迷。爽。上上周一个同事给我们介绍了自然语言处理的一些知识，觉得很不错。事实上虽然是雅虎公司的一名工程师，但是因为我不是搜索／邮箱／平台研发这些部门，基本上没有接触到比较深一点的东西，也许对于这些部门来说很简单的东西，对于我来说还是很难以理解的。课后自己去找了些东西看了看，然后有这样一思路,可以用来构造一个垃圾站。基本思路是: 1.首先...

2008年12月24日未分类暂无评论喜欢 0 阅读 1 次阅读全文

什么是中文分词？

众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我...

2008年12月17日未分类暂无评论喜欢 0 阅读 1 次阅读全文

百度中文分词技术

[tags]分词方法,seo,中文分词技术,基于字符串匹配,分词算法,基于理解,基于统计[/tags] 中文分词技术英文是以词为单位的, 词和词之间是靠空格隔开, 而中文是以字为单位, 句子中所有的字连起来才能描述一个意思。例如, 英文句子 “ I am a seoer” , 用中文则为: “ 我是一个搜索引擎优化师” 。计算机可以很简单通过空格知道 seoer是一个单词。但是不能很容易明白“ 搜索引擎” 、 “ 优化师” 几个个字合起来才表...

2008年12月17日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

什么是中文分词

什么是中文分词？　　众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词...

2008年12月05日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

编写简单的中文分词程序

- 几个月之前,在网上找到了一个中文词库素材(几百K),当时便想写一个分词程序了.我对汉语分词没有什么研究,也就凭自己臆想而写.若有相关方面专家,还请多给意见. 一、词库词库大概有5万多词语(google能搜到,类似的词库都能用),我摘要如下: 地区 82 重要 81 新华社 80 技术 80 会议 80 自己 79 干部 78 职工 78 群众 77 没有 77 今天 76 同志 76 部门 75 加强 75 ...

2008年12月03日未分类暂无评论喜欢 0 阅读 1 次阅读全文

中文分词技术的调研

中文分词的背景 l 什么是中文分词众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子“I am a student”，用中文则为：“我是一个学生”。对于英文句子，计算机可以很简单通过空格知道“student”是一个单词，但是对于中文句子而言，不能很容易明白「学」、「生」两个字合起来才表示一个词。把中文的汉字序列切分成...

2008年12月03日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文