Hadoop分布式计算 - 第2页 - 机器学习和生物信息学实验室联盟

呼唤支持多线程的分类器！

这几天参加JRS比赛，这次比赛的样本不算大规模，10000个样本，维度高，训练集文件在500M左右。不大不小，普通台式机可以跑动，就是慢。通过使用mulan和weka我们发现，他们最大的弱点是不支持多线程，因此我们的机器空有4核16G内存，事实上用不上。事实上，只有25%的CPU和1G的内存被消耗。因此，我 ...

16994

zouquan 发表于 2012-1-15 Hadoop分布式计算

Hadoop 学习资料

Hadoop 相关的各种资料，论文，源码分析，应用

54611

Genie 发表于 2012-4-17 Hadoop分布式计算

中文版 MapReduce Patterns, Algorithms, and Use Cases

在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sorting 这篇博客比较早，可能实践一下体会才比较深。 http://blog.nosqlfan.com/html/4179.html ...

24764

chenwq 发表于 2013-2-5 Hadoop分布式计算

新的图模型及机器学习并行框架利器----GraphLab+Graphbuilder

在海量数据盛行的今天，大规模并行计算已经随处可见，尤其是MapReduce框架的出现，促进了并行计算在互联网海量数据处理中的广泛应用。而针对海量数据的机器学习对并行计算的性能、开发复杂度等提出了新的挑战。机器学习算法具有下面两个特点：数据依赖性强，运算过程各个机器之间要进行频繁的数据交换； ...

1414594

Fth-Hokage 发表于 2013-1-5 Hadoop分布式计算

2013年Hadoop实时查询将成现实

Cloudera公司的两个新项目：Impala 和 Trevni，将有助在2013年实现Hadoop实时查询。Impala 是开源版的 Dremel （Dremel 是 Google 大数据查询解决方案），预计明年第一季度发布 Impala 的首个 beta 版。Impala允许你在 Hadoop 的HDFS、 Hbase 和 Hive 之上运行实时查询。不必迁移。来源:http://www.solidot.org/story?sid ...

02957

chenwq 发表于 2012-12-10 Hadoop分布式计算

306集群新配置

026

sunyuanshuai 发表于 2012-11-23 Hadoop分布式计算阅读权限 20

MapReduce与Hadoop深入

近期将要发表一些日志，欢迎有兴趣的同学一起探讨，均为自己的理解，可能有误，欢迎大家提出并指正~ 日志更新目录 MapReduce高级编程系列概论 MapReduce高级编程之自定义DataType MapReduce高级编程之自定义InputFormat MapReduce高级编程之本地聚集与Combinner MapReduce高级编程之J ...

1111553

Fth-Hokage 发表于 2012-2-27 Hadoop分布式计算

Goodbye MapReduce, Hello Cascading

We have been doing a lot of batch processing with Hadoop MapReduce lately, and we quickly realized how painful it can be to write MapReduce jobs by hand. Some parts of our workflow require up to TEN MapReduce jobs to execute in sequence, requiring a lot of hand-coordination of intermediate data and ...

36089

Genie 发表于 2012-8-21 Hadoop分布式计算

Cascading，谁来试试？

http://www.cascading.org/ Cascading is a project providing a programming API for defining and executing fault tolerant data processing workflows on a Hadoop cluster. Cascading is a thin, open source Java library that sits on top of the Hadoop MapReduce layer. Cascading provides a query processing A ...

13329

zouquan 发表于 2012-8-20 Hadoop分布式计算

Pig, 谁来试试？

http://pig.apache.org/ Pig is a high-level data-flow language (Pig Latin) and execution framework whose compiler produces sequences of Map/Reduce programs for execution within Hadoop. Pig is designed for batch processing of data. Pig’s infrastructure layer consists of a compiler that turns (relati ...

03871

zouquan 发表于 2012-8-20 Hadoop分布式计算

Google_MapReduce中文版

a

23871

Genie 发表于 2012-8-13 Hadoop分布式计算

Hadoop 遇到问题怎么办？

Hadoop 遇到问题时可以去http://www.search-hadoop.com/去搜索下答案，这个网站提供Hadoop及其子项目的文档，Wiki，Mailing List，问题跟踪系统，源代码等等。搜索结果也可以根据项目，作者等等进行筛选，不过貌似打不开```

24065

Genie 发表于 2012-7-2 Hadoop分布式计算

怎样贡献代码

转自Hadooper论坛:http://www.hadooper.cn/dct/page/65789 获得源码首先，你需要Hadoop的源码。你可以用SVN获得源码，大部分的开发都在”trunk”下。 svn checkout http://svn.apache.org/repos/asf/hadoop/core/trunk/ hadoop-core-trunk 如果你想针对某个具体的版本编辑，你可以访问网页 http://s ...

05241

chenwq 发表于 2012-6-29 Hadoop分布式计算

精华 MapReduce最经典入门代码

25377

Fth-Hokage 发表于 2012-6-10 Hadoop分布式计算

Hadoop优化及调试

整理的有关Hadoop的优化，还有什么好的编程优化技巧可以加上来，@Fth-Hokage@tangzk@chenwq 使用MRUnit进行调试实例

43979

Genie 发表于 2012-5-22 Hadoop分布式计算

Biodoop，谁来试用，写文档有重赏！

http://sourceforge.net/projects/biodoop/ 论文：软件：

03317

zouquan 发表于 2012-4-27 Hadoop分布式计算

精华 Hadoop的HelloWorld

Hadoop 的helloworld程序就是wordcount单词统计了。俗话说万事开头难，没有helloworld也就没有后面更复杂的程序了。而这种问题也不好去请教师兄师姐，一个人弄弄半天也不一定弄得好，这里结合自己的情况写个教程。环境是100 首先进入hadoop的目录 cd /usr/local/hadoop-0.20.2/ 开启服务 cd bin ./start-all.sh 关掉安全模 ...

25373