Hadoop分布式计算 - 机器学习和生物信息学实验室联盟

MapReduce与Hadoop深入

近期将要发表一些日志，欢迎有兴趣的同学一起探讨，均为自己的理解，可能有误，欢迎大家提出并指正~ 日志更新目录 MapReduce高级编程系列概论 MapReduce高级编程之自定义DataType MapReduce高级编程之自定义InputFormat MapReduce高级编程之本地聚集与Combinner MapReduce高级编程之J ...

1111555

Fth-Hokage 发表于 2012-2-27 Hadoop分布式计算

新的图模型及机器学习并行框架利器----GraphLab+Graphbuilder

在海量数据盛行的今天，大规模并行计算已经随处可见，尤其是MapReduce框架的出现，促进了并行计算在互联网海量数据处理中的广泛应用。而针对海量数据的机器学习对并行计算的性能、开发复杂度等提出了新的挑战。机器学习算法具有下面两个特点：数据依赖性强，运算过程各个机器之间要进行频繁的数据交换； ...

1414596

Fth-Hokage 发表于 2013-1-5 Hadoop分布式计算

我理解的Map-Reduce

整个Map和Reduce就是以对作为参数进行传递。 Map函数把输入文件读入，转化成对。然后hadoop自动进行sort，对同一K的V合并到一个List中。最后Reduce对每一个K整理。不知道对不对？文瑞来补充：）

54515

zouquan 发表于 2012-2-23 Hadoop分布式计算

Hadoop 学习资料

Hadoop 相关的各种资料，论文，源码分析，应用

54612

Genie 发表于 2012-4-17 Hadoop分布式计算

Hadoop优化及调试

整理的有关Hadoop的优化，还有什么好的编程优化技巧可以加上来，@Fth-Hokage@tangzk@chenwq 使用MRUnit进行调试实例

43980

Genie 发表于 2012-5-22 Hadoop分布式计算

Hadoop读物

just推荐。

33927

xmubingo 发表于 2012-2-26 Hadoop分布式计算

Goodbye MapReduce, Hello Cascading

We have been doing a lot of batch processing with Hadoop MapReduce lately, and we quickly realized how painful it can be to write MapReduce jobs by hand. Some parts of our workflow require up to TEN MapReduce jobs to execute in sequence, requiring a lot of hand-coordination of intermediate data and ...

36089

Genie 发表于 2012-8-21 Hadoop分布式计算

精华 MapReduce与Hadoop高级编程(汇总帖)

感谢@ Fth-Hokage 经验分享！最新更新： MapReduce高级编程系列概论 MapReduce高级编程之自定义DataType MapReduce高级编程之自定义InputFormat MapReduce高级编程之本地聚集与Combinner

35462

xmubingo 发表于 2012-3-10 Hadoop分布式计算

中文版 MapReduce Patterns, Algorithms, and Use Cases

在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sorting 这篇博客比较早，可能实践一下体会才比较深。 http://blog.nosqlfan.com/html/4179.html ...

24767

chenwq 发表于 2013-2-5 Hadoop分布式计算

Google_MapReduce中文版

a

23874

Genie 发表于 2012-8-13 Hadoop分布式计算

Hadoop 遇到问题怎么办？

Hadoop 遇到问题时可以去http://www.search-hadoop.com/去搜索下答案，这个网站提供Hadoop及其子项目的文档，Wiki，Mailing List，问题跟踪系统，源代码等等。搜索结果也可以根据项目，作者等等进行筛选，不过貌似打不开```

24068

Genie 发表于 2012-7-2 Hadoop分布式计算

精华 MapReduce最经典入门代码

25379

Fth-Hokage 发表于 2012-6-10 Hadoop分布式计算

精华 Hadoop的HelloWorld

Hadoop 的helloworld程序就是wordcount单词统计了。俗话说万事开头难，没有helloworld也就没有后面更复杂的程序了。而这种问题也不好去请教师兄师姐，一个人弄弄半天也不一定弄得好，这里结合自己的情况写个教程。环境是100 首先进入hadoop的目录 cd /usr/local/hadoop-0.20.2/ 开启服务 cd bin ./start-all.sh 关掉安全模 ...

25374

YuHaiyang 发表于 2012-4-22 Hadoop分布式计算

Hadoop没学会，又出Haloop，情何以堪啊

Hadoop的成功，让人们看到了使用普通商业集群处理大规模数据的合理性和必要性。但是，目前在使用Hadoop处理数据的过程中，发现一些应用在处理迭代计算的过程中，例如机器学习、数据挖掘、网页排名等应用的过程中，Hadoop的MR框架有一定的不足。不足主要存在于： hadoop的中间数据要存储在本地磁盘，我们迭代的时候，存在 ...

24767

zouquan 发表于 2011-9-16 Hadoop分布式计算

这大象太可爱了

还在笑... 我觉得咱们搞个logo会笑的萨摩犬也不错

23655

chenlin 发表于 2011-9-12 Hadoop分布式计算

讨论会有感~

感谢 Fth-Hokage 为实验室搭建了Hadoop 开发环境我深知道在Linux下面事情总会变得很复杂，他一个人为我们开拓了高性能计算的先河

33812

xmubingo 发表于 2011-9-1 Hadoop分布式计算

Apache Mahout

Apache Mahout是一个机器学习的框架，构建在hadoop上支持大规模数据集的处理，目前最新版本0.4。 Mahout currently has: [*]Collaborative Filtering [*]User and Item based recommenders [*]K-Means, Fuzzy K-Means clustering [*]Mean Shift clustering [*]Dirichlet process clustering [*]Latent Dirichlet ...

25838

Fth-Hokage 发表于 2011-7-28 Hadoop分布式计算

搭建hadoop单机版环境

菜鸟最近想玩玩hadoop，配置单机环境配的吐血啊！！！！只怨自己对权限这个问题没有概念。。。。所以，将单机配置的步骤稍稍总结了一下！

73988