一个深度神经网络从构建到实际应用会经过训练（Training)和推理（Inference）两个阶段。其中，神经网络模型的训练需要大量的数据和算力提供支持，并且在训练的过程中需要不断的对模型进行调优和多次重复的计算，以使得模型具备良好的鲁棒性；而推理则是向训练好的模型输入新的数据，从而对某一事物做出尽可能准确的判断和猜测，跟模型的训练效果密不可分。

推理一般是在特定场景、有限算力的情况下进行的，可能是在云端数据中心，也可能是在智能手机、智能音箱等终端设备上，因此会对算力和时延具有很高的要求。如果将训练好的神经网络直接部署到推理端，很有可能出现算力不足无法运行，或者推理时间较长等问题，因此我们需要对训练好的神经网络进行一定的优化。

神经网络模型的优化可以从不同的维度来进行，比如模型压缩、不同网络层合并、稀疏化、采用低精度数据类型，甚至还需要根据硬件特性对网络模型进行一定的优化等。但是，通常神经网络模型的规模都比较大，手动调整显然是不现实的，那么如何快速有效的解决这个问题呢？

如果你还没有具体的解决方案，NVIDIA TensorRT或许是一个不错的选择。TensorRT是一种高性能神经网络推理引擎，主要是用来在部署神经网络到推理端之前，对神经网络进行优化加速，来提高程序的吞吐量以及降低延迟。TensorRT会从权重参数类型、动态Tensor Memory、多流执行、内核调用、网络层融合等不同维度对神经网络模型进行优化，并且支持Caffe、TensorFlow、ONNX等主流的深度学习框架。

尽管如此，在实际开发过程中我们还是会遇到为特定需求而自定义的网络层，超出了TensorRT的支持范围，这时候该怎么办呢？别担心，可以试试TensorRT的高级特性——插件（Plugin），开发者可以通过自定义插件的形式告诉TensorRT需要做什么操作，然后插入到神经网络的合适位置即可获得TensorRT的支持。

看了这么多，你是不是已经心动了呢？别着急，智东西公开课推出AI推理公开课NVIDIA专场，帮你解决AI推理优化难题。本次AI推理公开课NVIDIA专场共两讲，将完全由NVIDIA高级解决方案架构师刘士君进行讲解。讲解采取的是PPT课件+语音的直播讲解形式。

7月17日晚7点，第一讲将开讲，主题为《使用TensorRT为深度学习模型推理加速》，刘士君老师将从影响AI推理性能的因素、TensorRT的基本加速原理、网络导入方法到具体的语音识别模型推理加速案例进行深入讲解；

第二讲将于7月31日晚7点开讲，刘士君老师讲从TensorRT的高级特性出发，告诉你如何利用TensorRT的高级特性加速自定义网络层、低精度数据支持、以及对不同深度学习框架的支持方法，并辅以代码实例，深入浅出地进行系统讲解。

本次NVIDIA专场设有主讲群，每场开放200名额。加入主讲群，你除了可以提前获取课件、免费收听直播之外，还能直接和讲师认识及交流。当然，你还可以结识更多的技术大牛。

欢迎收看直播讲解以及申请加入主讲群，一起学习和成长。

课程信息

第一讲

主题：使用TensorRT为深度学习模型推理加速
时间：7月17日晚7点
讲师：NVIDIA资深解决方案架构师刘士君

提纲：
1.影响AI推理性能的因素
2.TensorRT加速神经网络推理原理
3.将网络模型导入TensorRT的不同方法
4.使用TensorRT为语音识别模型DeepSpeech 2推理加速

第二讲

主题：代码实践！利用TensorRT高级特性为目标检测模型推理加速
时间：7月31日晚7点
讲师：NVIDIA资深解决方案架构师刘士君

提纲：
1.前期课程回顾
2.TensorRT高级特性详解
3.针对SSD的目标检测推理加速实例
4.总结：深度学习推理优化的基本原则

讲师介绍

刘士君，目前于英伟达任职资深解决方案架构师。毕业于清华大学，曾担任过微软云平台布道师、及人工智能解决方案工程师，有丰富的物联网、大数据、深度学习的项目开发经验。

入群路径

每场公开课的我们都将邀请讲师入驻智东西公开课旗下社群，希望与讲师认识和联系的朋友，可以添加果果（ID：zhidxguoguo)进行申请。有备注“姓名-公司/学校”的将优先通过。

社群规则

1、智东西社群坚持实名学习、交流和合作，入群后需要修改群昵称为：姓名-公司-所在领域，违者踢群；
2、禁止在群内广告和发送二维码等无关信息，违者踢群。