商汤科技高级研究员龚睿昊主讲离线量化算法研究 | 大厂讲坛预告

今年7月,智东西公开课教研团队全新策划「大厂讲坛」,将邀请国内科技/互联网大厂开设专区,围绕最新研究成果、核心技术、业务创新,持续带来多场直播讲解。

8月份,「大厂讲坛」第二个专区——商汤专区,正式上线。

智东西公开课特邀商汤科技工具链团队的三位研究员在商汤专区带来三场直播讲解,深度讲解其如何在模型量化领域从算法创新和工具沉淀两个维度助力SenseCore AI大装置,降低量化模型的生产成本,打造具有极致部署效率和规模化落地能力的量化模型生产体系,并分享该体系中的核心算法原理以及工具使用介绍,希望推动整个领域和社区的共同发展。

8月23日晚7点,商汤科技高级研究员龚睿昊将围绕《离线量化算法研究》这一主题率先带来商汤专区第一讲的直播讲解。

在深度学习的各个垂直领域中,模型量化对高效推理部署是至关重要的。而作为一个在各个已有工具中都会做的校准过程,离线量化是生产量化模型最简单高效的方式,也是被主流深度学习硬件厂商广泛支持的方式。然而它也面临很多挑战,比如单纯的校准过程只能得到一个基线结果。

而在本次的课程中,龚睿昊老师将会围绕该问题,首先向大家介绍DFQ(Data Free Quantization)和Adaround等经典算法的解决思路。其中DFQ提出了Weight Equalization/Bias Correction等相关算法,能够有效地解决离线量化中遇到的精度问题,显著地提升离线量化精度;Adaround算法则在校准模型张量统计范围的基础上更进一步,直接通过优化过程决定了模型张量中每个数值的取整方向,极大地提升了离线量化模型的精度,在学术模型中4bit下能够接近FP32的精度。

最后,他将重点解析商汤所提出的原创算法Brecq。Brecq是在Adaround的基础上,平衡了全局优化的难度和逐层优化的效果之间的平衡关系,基于梯度分析得出块重建算法,使得离线量化算法有了更进一步的提升。

龚睿昊硕士毕业于北航计算机学院,大三下加入商汤科技实习,现为商汤科技高级研究员。期间他先后从事视频结构化解析系统开发,模型量化压缩框架的设计开发和相关算法研究,服务大量业务线模型的压缩落地。他曾获得商汤科技未来之星、腾讯犀牛鸟人才培养计划、CCF优秀大学生、北京市三好学生、国家奖学金等,在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊会议上发表15篇论文(其中3篇一作,4篇二作),现阶段主要研究和工作方向为: 深度学习模型压缩和部署编译,致力于打破硬件彩票假设,最大化榨取模型和系统的潜力。

本次课程将在智东西公开课知识社区进行,包含主讲和问答两个部分,其中主讲环节40分钟,问答环节20分钟。每个环节主讲老师都将通过视频直播进行实时讲解与互动。

同时,我们还组建了相应的技术讨论群。加入讨论群,除了可以免费收看直播进行学习之外,还能与讲师,以及更多研究人员和开发者认识和交流。

直播课介绍

课 程 主 题

《离线量化算法研究》

课 程 提 纲

1、离线量化算法的研究及挑战
2、DFQ和Adaround等经典算法解析
3、基于块重建的离线量化算法Brecq

讲 师 介 绍

龚睿昊,商汤科技高级研究员;期间他先后从事视频结构化解析系统开发,模型量化压缩框架的设计开发和相关算法研究,服务大量业务线模型的压缩落地;曾获得商汤科技未来之星、腾讯犀牛鸟人才培养计划、CCF优秀大学生、北京市三好学生、国家奖学金等;在ICCV、CVPR、ICLR、PR、NeurIPS、ICML等期刊会议上发表15篇论文(其中3篇一作,4篇二作);现阶段主要研究和工作方向为: 深度学习模型压缩和部署编译,致力于打破硬件彩票假设,最大化榨取模型和系统的潜力。

直 播 信 息

直播时间:8月23日19:00
直播地点:智东西公开课知识店铺