如果你想写分词器，那么就需要有标注语料库进行训练，以下是 成 彦 的一些方法：

语料库标注或加工就是对语料（书面语和口语）进行不同层次的语言学分析，并添加相应的“显性”解释性语言学信息的过程。 语料库很关键，只有经过不周层次加工的“熟”语料才可真正用于自然语言处理系统的训练，测试。

目前我在网上找到的标注语料库是北京大学计算语言学研究所免费提供的“PFR人民日报标注语料1.0”。

PFR人民日报标注语料库1.0是在得到人民日报社新闻信息中心许可的条件下，以1998年人民日报语料为对象，由北京大学计算语言学研究所和富士通研究开发中心有限公司共同制作的标注语料库。该语料库对600多万字节的中文文章进行了分词及词性标注，其被作为原始数据应用于大量的研究和论文中。

是不是感觉该标注语料库太小太旧了? 那我们去构建自己的标注语料库吧。

思路：用最好的分词器去处理语料库，生成标注语料。

工具：海量分词器研究版，搜狗互联网语料库

海量分词器：目前最好的中文分词器，无论在速度还是准确性都是国内第一。切分准确率达99.7%，速度高达2000万字/分钟。

搜狗互联网语料库：完整版本的压缩后近130G，这需要自己去到搜狐联系。网上提供示例版，解压后是1G，50万篇文章。注意的一点是，不知道是否故意还是无意，这个文件里有错误，处理的时候一定要注意。该文件中一篇文档的分界标志是：
文档内容
而不是
文档内容

写个简短的程序，查看海量的文档，设置海量分词相应的输出格式，然后用海量切每一篇文档。

如此训练出的标注语料库，应该是质量蛮高的吧！