「AI新青年讲座」将致力于邀请青年学者，主讲他们在生成式AI、LLM、计算机视觉、机器学习等人工智能领域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的视频讲解和直播答疑，将可以帮助大家增进对人工智能前沿研究的理解，相应领域的专业知识也能够得以积累加深。同时，通过与AI新青年的直接交流，大家在AI学习和应用AI的过程中遇到的问题，也能够尽快解决。

「AI新青年讲座」目前已完结223讲；有兴趣分享学术成果的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系。

随着 AI 模型的逐步增大，这些 AI 大模型的部署难度也在逐渐增大。因此，大模型的轻量级微调逐渐成为主流。它仅微调少量参数，同时冻结大部分参数以减轻存储负担和优化难度，可以在保留尽可能多的预训练模型知识的同时，使 AI 大模型适应新任务。常见的轻量级微调方法有 Adapter 、BiT-S 和 LoRA 等。

然而现有的这些轻量级微调方法通常重视微调参数的结构，而忽略了微调参数的位置。为此，来自莫纳什大学 ZIP Lab 的何昊宇等人，在 ICCV 2023 最新的研究成果上，探究了怎么寻找重要的微调位置，以及怎么根据位置来分配微调参数的问题，并提出了一种自适应位置的轻量级微调方法 SPT。该成果也被收录为了 ICCV 2023 Oral Presentation。

SPT 在自适应的在不同任务的特异位置分配微调参数，大大提升了现有方法的性能和效率。例如，SPT 通过受监督的预训练 ViT-B/16 骨干网络改进了 Adapter，平均 Top-1 准确率分别提高了4.2%和1.4%，在 FGVC 和 VTAB-1k 基准上达到了SOTA性能。

「AI新青年讲座」第224讲邀请到 SPT 一作、莫纳什大学 ZIP Lab 在读博士何昊宇参与，主讲《大模型的轻量级微调方法解析》。

讲者

何昊宇，莫纳什大学ZIP Lab在读博士；师从庄博涵和蔡剑飞教授，主要研究方向为模型的高效部署；在CVPR、ICCV、NeurIPS、AAAI、IJCAR、TPAMI等顶级会议和期刊上发表多篇论文。

第224讲

主 题
《大模型的轻量级微调方法解析》

提 纲
1、大模型部署及微调训练的难点
2、LoRA 等现有轻量级微调方法概述
3、自适应位置的轻量级微调 SPT
4、实验分析及微调参数设计

直 播 信 息 
直播时间：9月4日19:00
直播地点：智东西公开课知识店铺

成果
论文标题：《Sensitivity-Aware Visual Parameter-Efficient Tuning》
论文地址：https://arxiv.org/abs/2303.08566
代码地址：https://github.com/ziplab/SPT