绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
基于图灵架构的Tesla T4如何让AI推理更高效
深度学习推理 2018/12/07 20:00:00
课程提纲
  • 当前线上推理端的困境
  • 新一代硬件推理平台T4 GPU架构剖析
  • 线上自动优化工具TensorRT5特性介绍
  • TensorRT Inference Server如何提高线上推理服务部署效率
课程简介

人工智能、深度学习已经渗入到社会的各行各业,也切切实实地影响着我们生活的方方面面,比如新闻内容或者电商网站的个性化推送、搜索引擎、语音输入法、手机相册中的照片自动分类功能等。所有的这些背后都是AI/DL技术在支持,而支持这些AI/DL技术的背后又是一个又一个的大型数据中心。如何在大型的数据中心中部署一套有效的解决方案,来高效、灵活、低成本的支持数以亿计的日请求呢?

2018年9月13日,NVIDIA推出首款基于新一代图灵架构打造的GPU——Tesla T4,采用多精度 Turing Tensor Core和全新 RT Core,用于机器学习和数据推理。

Tesla T4配备16GB GDDR6,带宽达到300GB/S。GPU中集成320个Turing Tensor Core和2560个Turing CUDA Core,支持4 种不同精度等级的各类 AI 工作负载。性能方面,Tesla T4的FP32单精度浮点计算性能8.1TFlops(每秒8.1万亿次),FP16/32半精度和单精度混合计算性能65TFlops,INT8、INT4整数计算性能则是130Tops、260Tops。在此之前,NVIDIA曾推出过类似的 Tesla P4 ,但Tesla T4可在相同的功耗下,提供高达 12 倍的性能。

NVIDIA还提供了围绕 T4 的一系列技术,比如 TensorRT Hyperscale (人工智能数据中心平台)、专门针对图灵架构优化的CUDA 10。T4还支持 PyTorch、TensorFlow、MXNet、以及 Caffee2 等主流的深度学习框架。

12月7日晚8点,智东西联合NVIDIA推出超级公开课NVIDIA专场第16讲,由NVIDIA 中国区HPC/DL 解决方案架构师程帅主讲,主题为《基于图灵架构的Tesla T4如何让AI推理更高效》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...