欢迎光临 x-algo
关注算法在工业界应用
Hi, 这是一个关注大数据算法在工业界应用的网站

rabit和ps-lite

随便写一点吧,这几天大概了解了一下DMLC的两个参数服务器,rabit和ps-lite。很早之前接触过vw,所以对AllReduce的工作模式并不陌生,专门优化神经网络的parameter server也大概了解,不过看到具体说明文档和论文之后,发现对容错的处理、接口的抽象都设计的很不错,涨了不少知识。

rabit整体结构

QQ20160910-1

根据上面的图大概介绍一下,master是中心,所有worker启动的时候都需要知道master的uri信息用于后面信息的同步。所以master会首先启动,然后监听端口等待每一个worker前来「注册」,等到所有的worker都来注册就开始生成「树结构」,并将「树结构」信息同步给每一个worker节点。

训练的过程就只在这个树结构上面参数的「传递」的过程,具体细节可以参考论文。prepare的设计很不错,可以防止冗余的计算。guide介绍的都很清楚,请戳我。另外还有kmeans的代码

ps-lite整体结构

ps-lite的节点有三类,负责调度的scheduler、负责计算的worker、负责存储的server。将需要操作的信息通过key-value的形式pull和push封装,接口的设计很简洁易懂。

QQ20160910-2

除了自带的demo可以学习之外,还有项亮基于此实现的w2v(戳我查看)。

参考资料

Parameter Server for Distributed Machine Learning

http://www.voidcn.com/blog/zc02051126/article/p-5710344.html

RABIT: A Reliable Allreduce and Broadcast Interface

未经允许不得转载:大数据算法 » rabit和ps-lite

分享到:更多 ()

评论 抢沙发

*

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

关注大数据算法在工业界应用

本站的GitHub关于本站