欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
百度提出分布式GPU分级参数服务器
2020-03-13
智东西
23
3月13日消息,在最新论文中,来自百度研究院等机构的研究者提出了一种用于大规模深度学习ads系统的分布式GPU分级参数服务器。文中提出的分级流程将GPU高频宽内存、CPU主内存和SSD作为3层分级存储,所有的神经网络训练计算都包含在GPU中。在真实世界数据上的大量实验证实了文中提出系统的有效性和可扩展性。研究者表示,该文中系统的性价比是MPI集群解决方案的4至9倍。