请问对论坛主题进行实时分析该用什么方法

endual · 发表于 2013-10-10 17:08:31

工作闲来无聊，突然想做这么一个分析系统。

需求：对论坛进行数据爬取，然后分析得出现阶段论坛的主题、关键词等。

这是不是属于文本分析范围？请问有什么资料可以推荐下，有什么思路，谢谢。
目前会用的就是weka，libsvm这些传统的工具。

但是weka在数据量较大的情况下，会出现内存溢出情况。

zouquan · 发表于 2013-10-10 17:46:08

大数据想分类的话，
1. 用大内存服务器、命令行模式调用weka
2. 用mahout
3. 用自己写的简单的分类器，比如knn
4. 高维数据或稀疏数据可以试试liblinear

endual · 发表于 2013-10-11 00:04:01

zouquan 发表于 2013-10-10 17:46
大数据想分类的话，
1. 用大内存服务器、命令行模式调用weka
2. 用mahout

谢谢老师。