通过MySQL内置全文检索实现中文的相关检索 /** * @author : walkerlee * @copyright : www.neatstudio.com | www.walkerlee.net */ 转载请保留以上信息。 注:本文使用的MySQL版本为:MySQL 4.0.x 在MySQL4中,是已经开始支持全文检索(索引)的了。但是只是对英文支持全文检索。 由于英文在书写上的特殊性,使得分词算法相对中文来说,简单得多。一般来说,我们可以通过单词与单词之间的空格,以及标点符号来完成这个分词过程。 但是就中文来说,... 2009年01月03日 学习随笔 暂无评论 喜欢 0 阅读 1 次 阅读全文
基于Lucene的中文分词实现:基于StopWord分割分词 Lucene应用越来越多,在对中文对索引过程中,中文分词问题也就越来越重要。 在已有的分词模式中,目前比较常用的也是比较通用的有一元分词、二元分词和基于词库的分词三种。一元分词在Java版本上由yysun实现,并且已经收录到Apache。其实现方式比较简单,即将每一个汉字作为一个Token,例如:“这是中文字”,在经过一元分词模式分词后的结果为五个Token:这、是、中、文、字。而二元分词,则将两个相连的汉... 2008年12月24日 学习随笔 暂无评论 喜欢 0 阅读 1 次 阅读全文