阿里云AI加速引擎专场:云端深度学习训练及推理加速与云上实践 | 直播预告

继腾讯优图实验室、商汤、京东AR视觉团队开设专场之后,阿里云异构和计算加速团队也在智东西公开课开设起了专场,并定名为「阿里云AI加速引擎专场」,主讲阿里云的云端深度学习训练和推理加速方案。

现阶段的深度学习已经取得了很大成功,但海量标注文本、图片、视频和语音数据集的推陈出新,让数据呈指数级增长;快速变化的场景,需要迁移学习或在线学习对模型进行快速演化;GPT-2、GPT-3、BERT等算法的演进让参数规模逐渐膨胀;各种计算芯片或平台的推陈出新,计算能力的不断提升等,这些都对深度学习的训练和推理提出了很大的挑战。

在云端利用弹性异构计算资源搭建训练和推理业务又是当前主流的上云方式之一,然而如何充分挖掘云端计算能力、提升通信计算比,从而加速深度学习的训练,又该如何满足深度学习在多场景多目标硬件上的推理加速问题,是当前研究的热点问题。

「阿里云AI加速引擎专场」现阶段计划开设两场公开课,并邀请到了两位阿里云异构和计算加速团队的技术专家进行直播讲解,希望可以帮助到开发者对云端深度学习训练和推理加速技术有全面深入的了解,更好的使用阿里云弹性计算资源。

第一场公开课将于12月14日进行,阿里云异构和计算加速团队技术专家张尉东,将围绕主题《深度学习训练加速与云上实践》,对阿里云的神龙AI训练加速引擎AIACC-Training进行全面讲解。

神龙AI训练加速引擎AIACC-Training的训练方式以数据并行为主,模型并行为辅,通过梯度协商优化、梯度统合优化、梯度压缩优化、通信操作优化等方式,并提供统一的基础通信类和梯度入口层,从而进行了统一的分布式性能优化,可以显著的提升训练性能。

在本场公开课中,张尉东将从分布式机器学习训练的可行性分析出发,讲解阿里云在分布式机器学习训练中的多节点并行计算、通讯和内存的优化方案,最后将就阿里云AI训练加速引擎AIACC-Training进行项目案例解析。

12月20日,第二场公开课将上线开讲,由阿里云异构和计算加速团队高级技术专家李鹏主讲,主题为《深度学习推理加速与云上实践》。

在神龙AI推理加速引擎AIACC-Inference中,不仅提供了模型转换工具将已有模型统一转换到TF模型或ONNX模型,还支持多种加速特性,包括但不限于TensorFlow和ONNX加速引擎执行模型子图分割和子图融合,分割的子图传递给高性能算子加速库加速;高性能算子加速库会在自研高性能算子和NVIDIA算子中找到最优算子,并生成高性能算子列表供加速引擎进行子图分割和传递。

在本场公开课中,阿里云异构和计算加速团队高级技术专家李鹏将以云上异构计算为背景,介绍深度学习模型的推理加速技术,包括AI推理的背景,趋势,模型部署等内容,以及阿里云AIACC推理加速引擎和弹性推理EAIS产品解决方案。

每一场公开课都设有主讲和问答两个环节,其中主讲40分钟,问答20分钟。同时还会组建专属交流群,两位讲师都将入群与大家认识和交流,欢迎申请。

第一场

主 题

《深度学习训练加速与云上实践》

提 纲

1、分布式机器学习训练的可行性分析
2、多节点并行训练的计算、通讯和内存优化
3、阿里云AIACC训练加速引擎架构
4、云上实践

讲 师

张尉东,花名灵丹,阿里云异构和计算加速团队技术专家;北京大学计算机系博士毕业;研究方向为高性能并行计算,同时也涉及到对DL/CV算法开发。

直 播 时 间

12月14日19:00

第二场

主 题

《深度学习推理加速与云上实践》

提 纲

1、基于云上异构计算的AI推理
2、阿里云AIACC推理加速引擎及架构解析
3、弹性推理EAIS技术
4、云上实践

讲 师

李鹏,花名凌禹,阿里云异构和计算加速团队高级技术专家;主要从事阿里云异构计算环境(GPU/NPU)下的深度学习模型优化和推理加速工作,面向的深度学习场景主要包括计算机视觉(CV), 自然语言理解(NLP)和推荐系统(Recommendation System)等,同时帮助云计算客户优化AI推理业务,实现最优性能。

直 播 时 间

12月20日19:00