「腾讯优图实验室专场」将围绕优图实验室在弱监督目标定位、图文多模态、TNN、高效模型、3D人脸、人脸隐私训练及开源项目Tface这六个领域的重要研究成果进行讲解和交流。

深度神经网络的优化目标是为了获得更高的模型准确率，以及更快的模型推理速度。而为了获得更轻、更快的网络，模型剪枝技术在近些年来吸引了很多研究人员的关注。

模型剪枝技术又包括了结构化剪枝（Filter/Channel pruning）和非结构化剪枝（Weight pruning）两种方式。结构化剪枝利于工程加速，非结构化剪枝能够裁剪更多的参数，两者之间各有优劣势。

那么是否可以考虑将结构化剪枝和非结构化剪枝的优势相结合呢？答案自然是可以的。腾讯优图便提出了一种介于结构化剪和非结构化剪枝之间的剪枝方法：Stripe-Wise pruning。该方法通过裁剪滤波器的形状，对模型进行裁剪，并且能够兼容filter pruning，实现更加精细的裁剪。此外，通过改变卷积的计算方式，Stripe-Wise pruning能够结构化的实现裁剪后不同形状的滤波器，便于模型加速。最终的实验结果也表明该方法能够达到结构化剪枝的最优效果。

当然，除了Stripe-Wise pruning，腾讯优图实验室在模型剪枝的领域还提出了其他的成果。比如去除模型残差的直筒型网络剪枝方法RM Operation。残差连接使训练更深的网络成为了可能，但其碎片化的操作却不利于高效并行推理，同时相邻残差块输入输出通道的一致性，都限制了剪枝的效果。而RM Operation能够等价的去除模型的残差，对去除残差的ResNet进行剪枝，模型推理速度快于直接对ResNet进行剪枝。

还有与剪枝相反的滤波器嫁接方法Filter grafting。在某些场景下，我们不希望改变模型的结构，只希望提升模型的准确率。但模型训练过程中，总是容易有参数没有被有效利用。而Filter grafting与Filter pruning正相反，希望激活模型中的无效滤波器，从而在不改变模型结构的情况下，提升模型的准确率。此外，该方法可以通过滤波器的信息熵来自适应的判断嫁接的比例，能够在多个数据集，多种任务上提升模型的效果。并且Filter grafting可以即插即用，也可以和蒸馏等其他方法一起使用。

10月13日晚7点，腾讯优图实验室专场第4讲将开讲。腾讯优图实验室研究员繁续将在这一讲中，以《基于模型剪枝的高效模型设计方法》为主题，对深度神经网络优化中的剪枝技术进行深入讲解。

繁续目前是腾讯优图实验室研究员，研究方向为高效模型的训练、剪枝、设计方法等，研究成果曾以第一作者身份发表于CVPR、NeurIPS等顶级会议上。

专场介绍

专 场 主 题

《基于模型剪枝的高效模型设计方法》

专 场 提 纲

1、深度神经网络优化中的剪枝技术
2、裁剪滤波器形状的剪枝方法
3、去除模型残差的直筒型网络剪枝方法
4、与剪枝相反的滤波器嫁接方法

讲 师 介 绍

繁续，腾讯优图实验室研究员，研究方向为高效模型的训练、剪枝、设计方法等，研究成果曾以第一作者身份发表于CVPR、NeurIPS等顶级会议上；其中在《Pruning Filter in Filter》NeurIPS2020提出一种细粒度的结构化剪枝方法；在《Filter Grafting for Deep Neural Networks》CVPR2020提出一种与剪枝相反的嫁接操作。

专 场 信 息

直播时间：10月13日19:00
直播地点：智东西公开课直播间