绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
PAI自动混合精度训练的实现与应用
大规模深度学习训练 2019/04/04 19:00:00
课程讲师
王梦娣 阿里巴巴高级算法工程师

博士毕业于清华大学电子工程系,博士毕业后加入阿里巴巴计算平台事业部PAI团队,目前主要专注于深度学习模型优化工作。

王梦娣
阿里巴巴高级算法工程师

博士毕业于清华大学电子工程系,博士毕业后加入阿里巴巴计算平台事业部PAI团队,目前主要专注于深度学习模型优化工作。

齐家兴 NVIDIA 系统架构师

博士毕业于德国亚琛工业大学,具有多年高性能计算与深度学习领域从业经验。目前专注于智能语音领域算法与应用研究,深度学习模型的多GPU分布式训练与针对Tensor Core的混合精度训练。

齐家兴
NVIDIA 系统架构师

博士毕业于德国亚琛工业大学,具有多年高性能计算与深度学习领域从业经验。目前专注于智能语音领域算法与应用研究,深度学习模型的多GPU分布式训练与针对Tensor Core的混合精度训练。

课程提纲
  • 混合精度训练的重要性
  • PAI自动混合精度训练的技术原理
  • 自动混合精度化的方法与实现
  • 应用案例分享
  • NVIDIA GPU中的Tensor内核特点
  • 针对TensorFlow的自动混合精度训练的原理与使用
  • 针对PyTorch的自动混合精度训练的原理与使用
课程简介

2017年,NVIDIA在新一代Volta架构中首次引入了针对混合精度训练的Tensor 核心,以帮助开发者最大限度的加速神经网络的训练。传统上,深度神经网络训练采用的是IEEE单精度格式,混合精度训练是指在神经网络训练过程中,在不同的计算中使用不同的数值精度,综合FP32和FP16这两种数值精度的优点,在保证模型准确度的前提下缩短神经网络模型的训练时间。

与传统采用IEEE单精度格式进行深度神经网络训练相比,混合精度训练使用半精度格式进行神经网络训练就能够得到与单精度训练相同的效果,有效降低了神经网络模型对内存的要求,从而支持更大规模的神经网络模型训练。

4月4日晚7点,NVIDIA&阿里巴巴联合专场将开讲,由阿里巴巴高级算法工程师王梦娣、NVIDIA系统架构师齐家兴共同主讲,主题为《PAI自动混合精度训练的实现与应用——NVIDIA Tensor 内核硬件加速单元在阿里PAI平台的落地实践》。

本次讲解中,王梦娣老师将为大家带来阿里巴巴PAI机器学习平台自动混合精度训练的系统讲解;齐家兴老师将从Tensor核心的特点,以及针对TensorFlow和PyTorch框架如何使用自动混合精度技术进行加速等进行深度讲解。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...