新的图模型及机器学习并行框架利器----GraphLab+Graphbuilder

Fth-Hokage

chenwq 发表于 2013-1-6 11:46
"Big data is like teenage sex. If you do it, you do it bad, and most teenagers just talk about it. ...

     哈哈 这个见解真是一针见血
     当前大数据主要从三个层析展开：

     这三个层析的发展依次对应着云的 SaaS, PaaS, IaaS

      其中底层硬件基础架构主要由intel包揽：“英特尔的智能加速技术将使得基于英特尔的服务器平台，能获得优于竞争对手的表现。其次，大量的超线程已经在服务器上被广泛地应用，在集群系统当中使整个集群有更快的互联互通，超级互联架构能够也能使整个集成性能大幅度提高。英特尔最新的存储架构也是对今后可扩展性的存储架构提供了支撑。”

      对于中间层和最上层，林智仁 在百度做关于大数据 分类de 演讲时说:“当下诞生的分布式系统或框架--尤其hadoop，并不是为机器学习算法而诞生的，因此很多机器学习算法在这些框架上的并行化并不能达到最佳效果”“那么解决途径就是 1. 致力于新的更适合于机器学习的系统的研究  2.  设计新的能很好适应当前这些框架的算法”

      所以，目前除了intel能把重心放在底层外，业界其他很多机构都是重在 中间一层 的研发，我们看看典型的例子：google—pregel, CMU—GraphLab,  CRMI—BC-BSP, 华为新成立的诺亚方舟 实验室 其中一个重心也是“研发适合机器学习算法的分布式框架”，还有HaLoop, Graphbuilder, HTC DATA CENTEL LAB也在开发适应于大数据的并行框架

    当然 对于上层数据智能 了解的不太多 欢迎大家纠正，完善这几句 闲扯

chenwq

chenwq 发表于 2013-1-5 17:31
用过GraphLab一个月左右。就编程模型上而言，GraphLab是"think like a vertex"。而MapReduce是"think like  ...

GraphChi: Your Laptop Can Now Analyze Big Data
http://www.technologyreview.com/ ... &nld=2012-07-17

tangzk

Fth-Hokage 发表于 2013-1-6 16:42
哈哈 这个见解真是一针见血
     当前大数据主要从三个层析展开：

确实，说起来Hadoop确不是为机器学习而生的，只是为了其当时的分布式大规模批量处理，如爬虫、索引和存储等，这些简单的数据流任务用MapReduce还是很适合，目前业界也都是这么干。
但是当涉及大规模网络通讯交互，甚至数据的迭代时，就需要更新的计算模型来支撑了，Pregel适用于图模型的处理，MPI类适合异构环境的并行集群计算，GPU类适合更高计算密集型的并行计算。
现在感觉机器学习见得多的还是用MPI+PThread做，据我所知有百度、淘宝等，不过存储依然是HDFS，另外80%的日常业务数据流处理任务还是用MapReduce。

Fth-Hokage

tangzk 发表于 2013-1-8 18:41
确实，说起来Hadoop确不是为机器学习而生的，只是为了其当时的分布式大规模批量处理，如爬虫、索引和存储 ...

哈哈 新的收获 得亏了大家畅所欲言啊

chenwq

貌似确实PThreads比较多。