潞晨科技技术VP 柳泓鑫:基于 Colossal-AI 低成本复现 ChatGPT

「大型语言模型技术公开课」由智东西公开课教研组全新出品,将持续邀请 LLM 领域的技术大牛和科研人员,对开源的大模型语言模型及其背后的技术细节以视频直播形式进行深入讲解。

在这一季,潞晨科技技术 VP 柳泓鑫、新加坡国立大学在读博士张傲、香港科技大学在读博士刁诗哲和腾讯 AI LAB 高级研究员宋林四位主讲人,将先后针对 ColossalChat、VPGTrans、LMFlow,以及 GPT4Tools 这四个开源项目带来讲解和答疑。

5月24日晚7点,潞晨科技技术 VP 柳泓鑫将参与到「大型语言模型技术公开课」第一讲的直播中,并围绕主题《基于 Colossal-AI 低成本复现 ChatGPT》进行深度讲解。

Colossal-AI 是 AI 大模型低成本训练基础设施。自开源以来,Colossal-AI 已经多次在 GitHub 热榜位列世界第一,获得 GitHub Star 约3万颗。

对于火爆出圈的 ChatGPT, Colossal-AI 在最新的开源方案 ColossalChat 中,率先建立了包含监督数据集收集 -> 监督微调 -> 奖励模型训练 -> 强化学习微调的完整 RLHF 流程,并推出 ColossalChat。

ColossalChat 是首个最接近 ChatGPT 原始技术方案的实用开源项目,可显著降低显存需求,加快训练推理速度,以低成本实现类 ChatGPT 的落地与应用。目前 ColossalChat 已支持支持单卡、单机多卡、1750 亿参数等多个版本,用户可以从 Hugging Face 导入 GPT-3,BLOOM 等多种预训练大模型。

在本次公开课中,柳泓鑫首先会对大型语言模型的成本账进行计算梳理,之后深度讲解 ChatGPT 成功背后的 RLHF ,以及开源的、低成本的 ChatGPT 平替方案:ColossalChat。最后,他也将对预训练大模型的训练推理加速方案进行介绍。

第一讲

主 题
《基于 Colossal-AI 低成本复现 ChatGPT》

提 纲
1、大型语言模型的成本账
2、ChatGPT背后的 RLHF 训练流程复现
3、ColossalChat 的低成本训练及推理
4、预训练大模型的训练推理加速方案

主 讲 人
柳泓鑫,潞晨科技技术VP;新加坡国立大学硕士,师从尤洋教授,对大规模深度学习、AI System等领域有深入研究,是Colossal-AI最新开源方案 ColossalChat 核心贡献者。

直 播 时 间
5月24日19:00