2017年,NVIDIA在新一代Volta架构中首次引入了针对混合精度训练的TensorCore计算单元,以帮助开发者最大限度的加速神经网络的训练。传统上,深度神经网络训练采用的是IEEE单精度格式,混合精度训练是指在神经网络训练过程中,在不同的计算中使用不同的数值精度,综合FP32和FP16这两种数值精度的优点,在保证模型准确度的前提下缩短神经网络模型的训练时间。

与传统采用IEEE单精度格式进行深度神经网络训练相比,混合精度训练使用半精度格式进行神经网络训练就能够得到与单精度训练相同的效果,有效降低了神经网络模型对内存的要求,从而支持更大规模的神经网络模型训练。

4月4日晚7点,超级公开课NVIDIA&阿里巴巴联合专场将开讲,由阿里巴巴高级技术专家杨军、NVIDIA系统架构师齐家兴共同主讲,主题为《PAI自动混合精度训练的实现与应用——NVIDIA Tensor 内核硬件加速单元在阿里PAI平台的落地实践》。

本次讲解中,杨军老师将为大家带来阿里巴巴PAI机器学习平台自动混合精度训练的系统讲解;齐家兴老师将从Tensor核心的特点,以及针对TensorFlow和PyTorch框架如何使用自动混合精度技术进行加速等进行深度讲解。

NVIDIA&阿里巴巴联合专场下周开讲!| 超级公开课预告

课程信息

主题:PAI自动混合精度训练的实现与应用——NVIDIA Tensor 内核硬件加速单元在阿里PAI平台的落地实践
时间:4月4日19点
地点:「深度学习」社群

课程内容

主题:PAI自动混合精度训练的实现与应用——NVIDIA Tensor 内核硬件加速单元在阿里PAI平台的落地实践
讲师:阿里巴巴高级技术专家杨军、NVIDIA系统架构师齐家兴
提纲:
1.混合精度训练的重要性
2.PAI自动混合精度训练的技术原理
3.自动混合精度化的方法与实现
4.应用案例分享
5. NVIDIA GPU中的Tensor内核特点
6. 针对TensorFlow的自动混合精度训练的原理与使用
7. 针对PyTorch的自动混合精度训练的原理与使用

讲师介绍

杨军,阿里巴巴高级技术专家。在阿里巴巴PAI团队负责大规模深度学习算法基础设施相关建设工作,对大规模机器学习的开发、建设、优化以及在不同业务场景中的落地应用有较为深入的理解和认识,致力于推进AI平台级通用优化技术的探索及落地。曾多次受邀在GTC 17/18/19/Strata/Oreilly AI conference等技术论坛进行主题分享。有若干篇论文在NIPS MLSys,ICML MLSys,CVPR ECV及其他国际会议上发表。加入阿里巴巴之前,曾在奇虎360广告技术部担任部门架构师,在Yahoo!北京研发中心担任效果广告系统tech lead。

齐家兴,NVIDIA系统架构师,博士毕业于德国亚琛工业大学,具有多年高性能计算与深度学习领域从业经验。目前专注于智能语音领域算法与应用研究,深度学习模型的多GPU分布式训练与针对Tensor Core的混合精度训练。

入群路径

本次课程我们将设置主讲群,讲师将亲自入群交流。希望进入主讲群与老师认识和交流的朋友,扫描海报下方二维码添加智东西公开课联络员“果果(zhidxguoguo)”为好友,添加时请备注“姓名-公司-职位或姓名-学校-专业”,申请进入课程群交流。

社群规则

1、智东西社群坚持实名学习、交流和合作,入群后需要修改群昵称为:姓名-公司-所在领域,违者踢群;
2、禁止在群内广告和发送二维码等无关信息,违者踢群。