- 课程回放
- 当前线上推理端的困境
- 新一代硬件推理平台T4 GPU架构剖析
- 线上自动优化工具TensorRT5特性介绍
- TensorRT Inference Server如何提高线上推理服务部署效率
人工智能、深度学习已经渗入到社会的各行各业,也切切实实地影响着我们生活的方方面面,比如新闻内容或者电商网站的个性化推送、搜索引擎、语音输入法、手机相册中的照片自动分类功能等。所有的这些背后都是AI/DL技术在支持,而支持这些AI/DL技术的背后又是一个又一个的大型数据中心。如何在大型的数据中心中部署一套有效的解决方案,来高效、灵活、低成本的支持数以亿计的日请求呢?
2018年9月13日,NVIDIA推出首款基于新一代图灵架构打造的GPU——Tesla T4,采用多精度 Turing Tensor Core和全新 RT Core,用于机器学习和数据推理。
Tesla T4配备16GB GDDR6,带宽达到300GB/S。GPU中集成320个Turing Tensor Core和2560个Turing CUDA Core,支持4 种不同精度等级的各类 AI 工作负载。性能方面,Tesla T4的FP32单精度浮点计算性能8.1TFlops(每秒8.1万亿次),FP16/32半精度和单精度混合计算性能65TFlops,INT8、INT4整数计算性能则是130Tops、260Tops。在此之前,NVIDIA曾推出过类似的 Tesla P4 ,但Tesla T4可在相同的功耗下,提供高达 12 倍的性能。
NVIDIA还提供了围绕 T4 的一系列技术,比如 TensorRT Hyperscale (人工智能数据中心平台)、专门针对图灵架构优化的CUDA 10。T4还支持 PyTorch、TensorFlow、MXNet、以及 Caffee2 等主流的深度学习框架。
12月7日晚8点,智东西联合NVIDIA推出超级公开课NVIDIA专场第16讲,由NVIDIA 中国区HPC/DL 解决方案架构师程帅主讲,主题为《基于图灵架构的Tesla T4如何让AI推理更高效》。