「轻量化网络专题讲座」由智东西公开课AI技术教研组策划推出，聚焦于轻量化网络设计与优化的研究与应用，并邀请到北京航空航天大学在读博士秦浩桐、德国慕尼黑大学在读博士顾金东和悉尼大学在读博士郭晋阳，分别就轻量化网络中的模型量化、知识蒸馏和模型剪枝等主题进行深度讲解。

在6月17日「轻量化网络专题讲座」第一讲的直播讲解中，北京航空航天大学软件开发环境国家重点实验室在读博士秦浩桐，以《无数据模型量化方法研究》为主题，深度讲解了模型量化的研究进展以及他们在CVPR 2021上被收录为Oral论文的一种多样化的样本生成方法DSG。在课程最后的问答环节，秦博更是与大家进行了专业且深度的讨论，由此可见轻量化网络结构设计与优化在实际工作中的价值。

6月24日晚7点，将由德国慕尼黑大学在读博士顾金东参与到「轻量化网络专题讲座」第二讲的直播讲解中，主题为《知识蒸馏中的架构搜索与自监督蒸馏方法的设计》。

顾金东目前是德国慕尼黑大学在读博士生，研究兴趣包括了深度学习的可解释性和鲁棒性、知识蒸馏、胶囊网络等，并在CVPR，ICLR，AAAI等会议上发表了多篇一作论文，也担任了CVPR, ICCV, NeurIPS, TPAMI等会议和期刊的审稿人。

在轻量化网络加速方面，现有的模型压缩方法也不少，比如模型剪枝、设计更高效的网络结构、矩阵分解、模型量化或二值化，以及知识蒸馏等。其中知识蒸馏作为一项成熟的技术，经常被用来更好地训练小模型。 而在监督学习的范式下，最近几年有很多高效的蒸馏方法被提出。而在本次的讲座中，顾金东博士将与大家探讨以下两个课题:

1）给定一个老师模型，如何为学生模型寻找一个好的架构，使得蒸馏效果更好？

2）自监督学习最近收到了很大关注，这种学习范式已经学习的特征已经可以与监督学习下的相比较，然而自监督学习下小模型的很不好。那如何使用知识蒸馏技术来改善自监督学习下的小模型呢？

我们的课程将在智东西公开课知识店铺上以视频直播的形式进行，包含主讲和问答两个环节。主讲环节40分钟，问答环节20分钟，每个环节顾博都将通过视频直播的形式进行实时讲解与解答。

同时，我们还组建了轻量化网络技术交流群。加入交流群，除了可以免费收看讲座直播进行学习之外，还能与主讲老师，以及更多开发者和科研人员认识和交流。

课程内容

课程主题

《知识蒸馏中的架构搜索与自监督蒸馏方法的设计》

课程提纲

1. 监督学习知识蒸馏的研究
2. 知识蒸馏中学生模型架构的搜索
3. 自监督学习下的知识蒸馏方法设计

讲师介绍

顾金东，德国慕尼黑大学在读博士生，研究兴趣包括深度学习的可解释性和鲁棒性，知识蒸馏，胶囊网络；在CVPR，ICLR，AAAI等会议上发表多篇一作论文，并担任CVPR, ICCV, NeurIPS, TPAMI等会议和期刊的审稿人。

直播信息

直播时间：6月23日19:00
直播地点：智东西公开课知识店铺