「模型优化与部署系列课」，聚焦深度学习模型的设计、优化，以及实际部署等问题，邀请各子领域的科研人员和开发者对研究成果和开发经验进行深度讲解。

如何寻找最优的深度学习模型，一直是深度学习领域研究的热点，”堆积木“就是最常用的方法。而为了减轻人工构建模型的工作量，用AI技术来搜索最优”堆积木“方法就显得很有必要了。神经网络架构搜索就是这样一种技术，可以帮助研究人员快速搭建合适的深度学习模型。其中Vanilla NAS和one-shot NAS是目前最常用的两种神经网络架构搜索方法。

Vanilla NAS 是使用搜索算法来遍历探索搜索空间，并通过从头开始训练新的架构来评估它们的性能。暴力搜索和深度学习的通病就是需要更多的时间，例如完整搜索可能需要数千小时的 GPU 时间，导致在许多研究应用中计算成本非常高，无法实际应用。

one-shot NAS则是使用一个预训练的超网络（supernet, supernetwork），从而大大降低计算成本。这个网络能够在搜索空间中估计神经结构的准确性，而不需要从头开始训练。然而，由于操作之间的协同适应，性能估计可能非常不准确，如果是不准确的预测会影响它的搜索过程，并导致很难找到合适的模型架构。

基于时间消耗和计算损失的问题，伍斯特理工学院计算机系的赵一阳博士等人提出了一个全新的模型few-shot NAS。这个方法平衡了Vanilla NAS 和 one-shot NAS的时间消耗和计算损失。

比如在真实世界的任务中，few-shot NAS发现ImageNet上的模型在600 MFLOPS 上达到近80.5% 的 top-1准确率，在238 MFLOPS 下达到77.5% 的 top-1准确率。在 AutoGAN 中，few-shot NAS 的性能比以前的结果高出将近20% ，而在 CIFAR10中，它在不使用任何额外数据或传输学习的情况下达到了98.72% 的 top-1准确率。

也就是说，从卷积神经网络到生成对抗性网络，few-shot NAS都能够有效地设计SOTA模型，显著地改进各种one-shot方法，广泛的适用于所有现有的NAS方法。该成果也已经被ICML 2021录取为long oral。

12月15日上午10点，「模型优化与部署系列课」第5讲邀请到few-shot NAS的第一作者赵一阳博士参与，主题为《通用高效的SOTA模型设计方法few-shot NAS》。

赵一阳目前是伍斯特理工学院计算机系三年级博士生，主要研究方向是自动化机器学习（Auto-ML）。 截至今日，他的多篇研究成果已发表在ICML、AAAI、ICLR、PPOPP等人工智能和计算机系统的顶级会议上。

在本次讲解中，赵博将从传统NAS和one-shot NAS进行切入，通过建立传统挨个训练网络架构的NAS和one-shot NAS的联系，来引入他们的工作few-shot NAS。届时，他将对few-shot NAS的工作原理，应用场景，以及实验效果进行全面系统的介绍，展示及分析。

本讲直播包含主讲和问答两个环节，其中主讲40分钟，问答20分钟。同时，我们还组建了技术交流群，并邀请讲师赵一阳博士进群，欢迎大家申请！

系列课内容

主 题

《通用高效的SOTA模型设计方法few-shot NAS》

提 纲

1、神经网络架构搜索的研究背景
2、传统NAS与one-shot NAS的局限性
3、平衡时间消耗、计算损失的few-shot NAS
4、与现有NAS算法的集成应用

主 讲 人介 绍

赵一阳，伍斯特理工学院在读博士；主要研究方向是自动化机器学习（Auto-ML）； 截至今日，多篇研究成果已发表在ICML、AAAI、ICLR、PPOPP等人工智能和计算机系统的顶级会议上；其中《Few-shot Neural Architecture Search》被ICML 2021录取为long oral。

直 播 信 息

直播时间：12月15日10:00
直播地点：智东西公开课知识店铺