高性能SSH传输

xmubingo

高性能SSH传输

HPN-SSH
http://www.psc.edu/networking/projects/hpn-ssh/

zouquan

你终于搞定了？赞

xmubingo

zouquan 发表于 2012-4-25 17:43
你终于搞定了？赞

目前有两种选择：
一种是压缩之后再传，发现，一两GB的东西，压缩要时间，回头解压也要时间，最后结果合并也要时间。
另一种是，这种高速传输SSH，发现，Master带宽，接收的缓冲区大小，硬盘读写能力都有限。并不能提高多少。
也可以同时采取这两种方法。

我觉得hadoop传回2GB的时间也快不到哪里去。

目前版本，都还没加入以上两种方案，离比单机快的目标还远、、

xmubingo

Remote Method Invocation
http://www.oracle.com/technetwor ... dex-jsp-136424.html

sample
http://www.cnblogs.com/leslies2/archive/2011/05/20/2051844.html

zouquan

xmubingo 发表于 2012-5-15 14:55
Remote Method Invocation
http://www.oracle.com/technetwork/java/javase/tech/index-jsp-136424.html
...

RMI可以用么？weka的多机并行交叉验证就是在RMI基础上开发的

xmubingo

zouquan 发表于 2012-5-15 15:27
RMI可以用么？weka的多机并行交叉验证就是在RMI基础上开发的

还没做。

xmubingo

zouquan 发表于 2012-5-15 15:27
RMI可以用么？weka的多机并行交叉验证就是在RMI基础上开发的

这个RMI是用来远程访问对象的。
有人用它来做传文件，思路是将要传输的数据当作远程函数的返回值传输，服务器接收到返回值之后写入本地文件。
估计效率不如scp吧。