大模型时代已经来临。11月起，智东西公开课视觉AI教研组全新策划推出「大模型系列直播课」，聚焦最具代表性的大规模预训练模型，讲解大模型的构建技巧和开发工具，挖掘大模型的应用案例。

直播课现阶段将上线四讲。联汇科技首席科学家赵天成博士、一流科技 LiBai 项目负责人程鹏、潞晨科技创始人尤洋教授，以及北京面壁智能联合创始人& CTO 曾国洋四位主讲人将进行主讲。

12月2日下午1点，潞晨科技创始人尤洋将带来「大模型系列直播课」第3讲的直播，讲解主题为《大模型的低成本训练和微调》。

AI模型急速增大与硬件算力缓慢增长的尖锐矛盾，已成为制约 AI 生产力解放和发展的主要痛点。基于多年在学术上的卓越成就和工业界的深厚积累，尤洋教授团队攻克多维张量并行、序列并行、异构内存管理、大规模优化库、自适应任务调度等多项核心关键技术，开源了面向大模型时代的通用深度学习系统 Colossal-AI，可实现高效快速部署 AI 大模型训练和推理，降低 AI 大模型应用成本。

面对当前 AI 领域最热门话题之一的 AIGC 模型，Colossal-AI 开源了完整的训练配置参数和训练脚本的方案，让用户可以随时训练出针对新下游任务的最新版细分模型，使用更加灵活且应用范围更广。而且得意于 Colossal-AI 引入显存优化等技术，仅在普通个人电脑的单张消费级显卡上（如 GeForce RTX 2070/3050 8GB），即可快速完成微调任务流程，相比 RTX 3090 或 4090 可降低约 7 倍硬件成本，大大降低了使用 Stable Diffusion 等 AIGC 模型的门槛和成本。

在本次课程，尤洋教授首先将为大家讲解大模型时代的“预训练-微调”新范式，之后重点讲解他们所推出的大规模并行 AI 训练系统 Colossal-AI，以及其中的多维模型并行与 GPU 冗余内存消除技术。最后，尤洋教授也将分享 Colossal-AI 在单 GPU 下的大模型训练推理及成功案例。

第3讲

主 题
《大模型的低成本训练和微调》

提 纲
1、大模型时代的“预训练-微调”新范式
2、大规模并行AI训练系统Colossal-AI
3、多维模型并行与GPU冗余内存消除技术
4、单GPU下的大模型训练推理及成功案例

主 讲 人
尤洋，潞晨科技创始人;新加坡国立大学计算机系的校长青年教授 (Presidential Young Professor)；研究重点是大规模深度学习训练算法的分布式优化，曾创造ImageNet以及BERT训练速度的世界纪录；近三年以第一作者身份在NIPS，ICLR，Supercomputing，IPDPS，ICS等国际重要会议或期刊上发表论文十余篇；以第一作者身份获得了国际并行与分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率)；2021年被选入福布斯30岁以下精英榜 (亚洲)并获得IEEE-CS超算杰出新人奖。

直 播 时 间
12月2日13:00-14:00