Hadoop分布式计算 今日: 0|主题: 45|排名: 43 

为了记录hadoop和spark集群的安装过程，特记录下来供大家参考。 详细过程参见我的博客园： http://www.cnblogs.com/shixiangwan/p/6159299.html

Hadoop真实集群昂贵，本地搭建主要问题是繁琐，服务器集群主要问题是昂贵。借助alvinhenrick/hadoop-mutinode及东京大学的kiwanlau项目成果，我制作了shixiang/hadoop镜像，增加暴露tomcat端口。它实现了通过docker容器将Hadoop容器集群打包成镜像，减少初学者在集群搭建上的时间花费，最终使Hadoop程序在任意一台机器（尤 ...

现在工业界对于Spark内存计算模型追得相当火热，另外也有一部分是相对MapReduce更为灵活的编程接口，目前学习Spark最好的地方还是这几个地方： 官网docs：http://spark.apache.org/documentation.html 邮件列表：http://spark.apache.org/community.html#mailing-lists 源代码。 另外发现这里有个链接也做了大量的整理：htt ...

https://github.com/graphlab-code/how-to coding language：python

由于一些需求要安装GraphLab，由此展开环境搭建。 因为用的几乎是纯净的系统，莫名其妙在jdk安装上都出了一堆问题。终于焦头烂额3天之后搞定。 把过程以及遇到的问题截图，为后面的孩子造福利~ 但因为是新手，还会有很多不懂或者不对的地方，所以欢迎各位批评指出> ...

菜鸟最近想玩玩hadoop，配置单机环境配的吐血啊！！！！ 只怨自己对权限这个问题没有概念。。。。 所以，将单机配置的步骤稍稍总结了一下！

今天读了RDD的论文，感觉还是论文更靠谱，解释的也比较清楚。 参考了陈超的Spark视频以及伯克利实验室的论文中的内容写了一些RDD的相关知识。 总的来说，就一个感受：everything is possible 这个帖子会开成一个系列，争取一周添加一篇新的PDF作为扩展。 另外感觉最适合Spark的语言依旧是scala，没有之一，学习的最好方式 ...

因为准备在Spark上跑SVD分解，所以想着先配置一下， 谁知道...原本装在本机的Ubuntu崩溃了... 索性选择在VMWARE中来配置 花费了一天时间，总算搞定了 因为图文较多，直接放在PDF文档里面了 这里就PO两张截图吧 ：

刚开始看spark，在码农周刊里看到一个分享的spark源码剖析博客， 有兴趣的小伙伴可以一起看看。 博客地址戳：http://www.cnblogs.com/hseagle/category/569175.html 现看完前两篇，感觉很赞。 还有一个博客，PO主正在连载中，内容相关spark1.0.0 也很系统 地址：http://blog.csdn.net/book_mmicky/article/details/2571456 ...

本篇主要是针对Hadoop MapReduce编程的学习整理，涉及针对MapReduce编程常用的编程思路及经典范例，另外也有Hadoop平台相关的内容，但暂时不涉及对Hadoop的底层运行细节的深入。 一、Hadoop编程基础 1. MapReduce工作原理 ★ 2. Hadoop Job运行基本流程 ★ 3. Hadoop开发环境搭建 ★ 4. 程序范例(1)-WordCount ★ • ...

Spark 学习笔记和总结 ， 分享给大家， 不要问我是谁，叫我红领巾！！ （1） spark 论文： （原文）Spark Cluster Computing withWorking Sets （学渣只能译一遍才能看懂）活跃数据集上的集群运算 （2）Spark 安装（参考振坤 ...

https://spark.incubator.apache.org/

itcast的培训视频貌似有放出来过，pan.baidu.com上次也收到很多学习资料。 要是初学者的话，我觉得可以从看视频开始，再回去看书，这样学起来会轻松一点。 毕业了没有这个时间学喽。

除了MPI还有MPJ，专门为java准备的 http://www.mpj-express.org/ 谁试试看，写文档有重奖

作为曾经比较早接触Hadoop的一员，现在看到自己都落后大家一个环岛路那么远了，说起来甚是惭愧，因为毕业设计跟这个相关，所以就再次捡起来了，一些写程序中遇到的问题，说来大家分享一下，如果大家都已经碰到这个问题了，并且觉得好弱的问题，就不要喷我了，理解一下作为学术上的小学弟吧！ 一般都知道Hadoop里的是对， ...

我是杨镒铭，在中国科学技术大学，研一，最近也在学习hadoop。

Apache Hadoop 2.0 今天发布了首个 alpha 版本，该版本还不能用于生产环节，还有一些很重要的开发没完成。该版本包含很多新的很重要的功能： HDFS HA (manual failover) NextGen MapReduce a.k.a YARN HDFS Federation Performance Wire-compatibility for both HDFS & YARN (via protobufs) 除了新功能以外还有一些重要的 ...

mapreduce区别于以往的编程模式，因此利用mapreduce来实现各类算法显然也是值得书写的内容。推荐两本关于mapreduce算法设计的书籍，给有兴趣在mapreduce算法实现上深入的同学。当然，也要知道，如同我们常见的普通算法一样，这些也将慢慢都变成熟悉mapreduce编程所必备的基础知识。 【1】Data-Intensive Text Processing w ...

Hadoop版本：1.0.3 MRUnit版本：0.9.0-incubting-hadoop1 JUnit4：4.8.2 注意由于MRUnit目前还处于变动阶段，上面的版本需要与Hadoop版本匹配，如果在运行出现一些意外的情况，有可能是因为版本不兼容导致，请前往：http://mrunit.apache.org/general/downloads.html，下载对应的版本。 目标：单元测试排序功能。 测试代码 ...