人工智能、深度学习已经渗入到社会的各行各业,也切切实实地影响着我们生活的方方面面,比如新闻内容或者电商网站的个性化推送、搜索引擎、语音输入法、手机相册中的照片自动分类功能等。所有的这些背后都是AI/DL技术在支持,而支持这些AI/DL技术的背后又是一个又一个的大型数据中心。如何在大型的数据中心中部署一套有效的解决方案,来高效、灵活、低成本的支持数以亿计的日请求呢?

2018年9月13日,NVIDIA推出首款基于新一代图灵架构打造的GPU——Tesla T4,采用多精度 Turing Tensor Core和全新 RT Core,用于机器学习和数据推理。

Tesla T4配备16GB GDDR6,带宽达到300GB/S。GPU中集成320个Turing Tensor Core和2560个Turing CUDA Core,支持4 种不同精度等级的各类 AI 工作负载。性能方面,Tesla T4的FP32单精度浮点计算性能8.1TFlops(每秒8.1万亿次),FP16/32半精度和单精度混合计算性能65TFlops,INT8、INT4整数计算性能则是130Tops、260Tops。在此之前,NVIDIA曾推出过类似的 Tesla P4 ,但Tesla T4可在相同的功耗下,提供高达 12 倍的性能。

NVIDIA还提供了围绕 T4 的一系列技术,比如 TensorRT Hyperscale (人工智能数据中心平台)、专门针对图灵架构优化的CUDA 10。T4还支持 PyTorch、TensorFlow、MXNet、以及 Caffee2 等主流的深度学习框架。

12月7日晚8点,智东西联合NVIDIA推出超级公开课NVIDIA专场第16讲,由NVIDIA 中国区HPC/DL 解决方案架构师程帅主讲,主题为《基于图灵架构的Tesla T4如何让AI推理更高效》。

NVIDIA新一代图灵架构GPU Tesla T4首次线上讲解 | 超级公开课报名

课程信息

主题:基于图灵架构的Tesla T4如何让AI推理更高效
时间:12月7日
地点:「深度学习」社群、智东西公开课小程序

课程内容

主题:基于图灵架构的Tesla T4如何让AI推理更高效
讲师:NVIDIA 中国区HPC/DL 解决方案架构师程帅
提纲
1.当前线上推理端的困境
2.新一代硬件推理平台T4 GPU架构剖析
3.线上自动优化工具TensorRT5特性介绍
4.TensorRT Inference Server如何提高线上推理服务部署效率

讲师介绍

程帅,NVIDIA 中国区HPC/DL 解决方案架构师,在HPC和DL领域有多年的架构方案经验,支持过国内多个大型HPC 数据中心以及多家大型CSP中DL集群设计。

入群路径

本次课程我们将设置主讲群,讲师将亲自入群交流。希望进入主讲群与老师认识和交流的朋友,扫描海报上的二维码添加智东西公开课联络员“动动(zhidxzb)”为好友,添加时请备注“姓名-公司-职位或姓名-学校-专业”,申请进入主讲群。

社群规则

1、智东西社群坚持实名学习、交流和合作,入群后需要修改群昵称为:姓名-公司-所在领域,违者踢群;
2、禁止在群内广告和发送二维码等无关信息,违者踢群。