「大厂讲坛」是智东西公开课教研团队全新策划推出的系列直播课，将邀请国内科技/互联网大厂开设专区，围绕其最新研究成果、核心技术、业务创新等，持续带来多场直播讲解。商汤专区是「大厂讲坛」的第二个专区，特邀商汤科技工具链团队的三位研究员，深度讲解其如何在模型量化领域从算法创新和工具沉淀两个维度助力SenseCore AI大装置，降低量化模型的生产成本，打造具有极致部署效率和规模化落地能力的量化模型生产体系，并分享该体系中的核心算法原理以及工具使用介绍，希望推动整个领域和社区的共同发展。

在商汤专区的前两讲中，来自商汤科技工具链团队的两位研究员分别围绕主题《离线量化算法研究》和《可部署的量化感知训练算法研究》，对模型量化领域的算法创新进行了深度讲解。错过直播的朋友可以点击文章底部的“阅读原文”进行回看。

9月16日晚7点，大厂讲坛商汤专区第三讲，将由商汤科技研究员张琦对商汤科技的离线/在线量化工具进行深度讲解，讲解主题为《支持多平台部署的离线/在线量化工具与实践》。

现阶段学术领域的量化研究虽然也活跃，但由于学术研究和工业落地的视角和关注点有所不同，很多量化研究工作都不能直接在工业落地中用起来。比如：

1）量化方案的不匹配。各类深度学习加速器的量化位置和量化函数各异，而research paper几乎只考虑量化卷积层，不会考虑实际硬件推理中需要merge BN以及Eltwise和Concat这些层的量化；

2）任务局限性。在工业界的视觉任务多种多样，学术界目前主要考虑分类和检测任务，而且不会引入比较难的评估指标，使得一些工业落地的hard case无法暴露出来；

3）目标和场景不一致。学术paper的目标往往是对齐一个setting，针对几个特定网络和任务，选一些很诱人的极低比特去血拼精度提升，很少会关心是不是真的能在硬件上跑，是不是真的能取得想象的加速收益。

在工业界，量化更像是一个通用能力，希望对所有的硬件、任务、网络都能便捷的享受到其加速收益且保持精度。可以发现一些硬件厂商比如高通、IBM的量化研究工作会更实用一些，但他们的局限是更容易overfit到自家硬件上，而且对业务场景的理解比较浅。

随着量化过程逐渐成为工业级模型生产中必备的一个环节，开发出易用的量化工具显得非常必要。在本次的课程中，来自商汤科技工具链团队的研究员张琦，将首先向大家介绍离线量化算法工具的功能和组成，给出基于模型误差分析的模型离线量化pipeline，使得模型离线量化工具能够分析出模型的量化问题所在，并针对性地进行模型的精度提升。然后他将分析量化感知训练工具的一些开发要点，会对比目前市面上的量化感知训练开源工具，总结目前几种实现方式及其优劣，最后重点讲解商汤科技的基于PyTorch最新feature的量化训练工具(附开源地址：https://github.com/TheGreatCold/MQBench)，以及其中的一些使用方式和仍存在的一些问题等。

张琦目前是商汤科技研究员，毕业于北京航空航天大学，现主要研究方向为深度学习模型的量化加速技术，负责量化感知训练和后训练量化工具开发，支持多个业务线的项目落地。

直播课介绍

课 程 主 题

《支持多平台部署的离线/在线量化工具与实践》

课 程 提 纲

1、离线量化工具的功能组成
2、开源的量化感知训练工具及开发要点
3、基于Pytorch最新feature的量化训练工具
4、使用方式和技术展望

讲 师 介 绍

张琦，商汤科技研究员，毕业于北京航空航天大学，现主要研究方向为深度学习模型的量化加速技术，负责量化感知训练和后训练量化工具开发，支持多个业务线的项目落地。

直 播 信 息

直播时间：9月16日19:00
直播地点：智东西公开课知识店铺