词频统计 | 浩然东方

SEO词频统计软件

很惊讶看到老师的研究，留存下载地址：ROST 下载软件列表以下是读者反馈：相关软件可以搜索ROST wordparser、ROST TFIDF、ROST RELNET之类的ROST细类软件。您好，我是学习seo的，我看了很多你们的软件，针对文本分析有很大的帮助，我个人目前在用你们的词频统计的软件，十分的好用，而且可以自助添加新词，这个功能很不错，在我长期使用并手工添加以后现在来统计网页的词频的准确度已经很高了，昨天...

2009年01月04日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

使用word语法分析制作词表

没有一个输入法词库能够囊括常用词。比如说，“曹操”在三国演义中是常用词，在西游记中频率为0。输入法词库不能满足统计一部作品词频的需求，这就需要手动添加新词（程序自动生成词库技术还不成熟，会产生大量垃圾词汇）。可以使用word自带的拼写和语法检查功能将输入法没有的词语纳入到统计当中。语法检查的原理是用分词技术划分词语，找到每个词的词性，再运用少量的语法符号分析语法，比如 [NV]主谓结...

2009年01月04日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

语言研究中的词频统计

随着计算机的普及以及统计软件的开发，在语言研究中进行统计分析，可以说越来越方便了。对这一研究方法，本人没有做系统的考察，仅就手头现有的资料谈一点粗浅的认识，希望能引起大家的讨论，起到抛砖引玉的作用。一、什么是概率设事件A在n次重复试验中发生的次数为r。当试验的次数n很大时，事件A发生的频率w（A）＝r/n稳定地在某一数值p的附近摆动；一般说来，随着试验次数的增多，这种摆动的幅...

2008年12月30日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

【库存】分布式词频统计

一个规模庞大的多语言语料库，已经经过预处理，分成了12个文件，每个文件存放在一台服务器中。每个文件中包含800亿个单词，每个单词占一行，平均每个单词40字节。假设服务器都已经联网，每台服务器有双CPU和4G的内存，4×400GB的硬盘，换句话说，每台服务器就是一个高配置的PC机。请设计一个方案，找出出现频率最高的一百万个单词。这个问题基本上可能有两种思路。第一种需要先在每台服务器，完成对单词词...

2008年12月29日学习随笔暂无评论喜欢 0 阅读 1 次阅读全文

词频统计的C++实现

#include <map> #include <fstream> #include <iostream> #include <string> using namespace std; void display_map(map<string, int> &wmap); int main() { const char *szInputFileName="Text.txt"; ifstream ifs(szInputFileName); string szTemp; map<string, int> wmap; ...

2008年11月09日未分类暂无评论喜欢 0 阅读 1 次阅读全文