大模型时代已经来临。11月，智东西公开课视觉AI教研组策划推出了「大模型系列直播课」，聚焦最具代表性的大规模预训练模型，讲解大模型的构建技巧和开发工具，挖掘大模型的应用案例。

联汇科技首席科学家赵天成博士、一流科技 LiBai项目负责人程鹏、潞晨科技创始人尤洋教授，以及北京面壁智能联合创始人&CTO曾国洋四位主讲人分别进行了主讲。

12月起，智东西公开课联合达摩院自然语言智能实验室全新策划「阿里达摩院大模型公开课」。此次公开课开设两讲，阿里巴巴达摩院高级算法工程师李晨亮、NLP高级算法专家严明将分别进行直播讲解。

12月14日晚7点，阿里巴巴达摩院高级算法工程师李晨亮将主讲《达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索》。李晨亮将对英文SOTA生成预训练模型PALM、中文社区首个超大规模生成模型PLUG，和GPT-3的中文复现版本三个大模型，以及它们在AIGC 文本创作领域的应用进行深度讲解。

PALM 提出时是英文SOTA生成预训练模型，结合自编码和自回归的预训练，在英文CNN/Daily Mail、Giagaword等数据集上超过BART、T5等模型。而最新的PALM 2.0，在中文社区的生成预训练模型中也达到了SOTA。

PLUG提出时是当时中文社区最大规模的纯文本预训练语言模型，集语言理解与生成能力于一身，在语言理解（NLU）任务上，以80.179分刷新了当时Chinese GLUE分类榜单的新记录排名第一；在语言生成（NLG）任务上，在多项业务数据上较State-of-the-art平均提升8%以上。除此之外，PLUG在zero-shot生成的表现上，也较此前的模型均有明显的优势。

中文GPT-3是对2020年OpenAI提出GPT-3的中文版本。其主要思想是通过大幅度增大模型规模至1750亿，同时利用无监督数据和language model预训练，使模型具备强大的zero-shot生成能力。因为GPT-3主要支持英文，对于中文效果较差，同时访问使用需要申请，因此达摩院推出了中文GPT-3，并创新性的结合无监督数据和有监督prompt数据，训练了不同版本规模的中文GPT-3，为中文社区带来更好用的中文生成大模型，目前模型具备多种生成能力，包括：代码生成，小说续写，作文生成、论文生成等。

12月15日晚7点，阿里巴巴达摩院NLP高级算法专家严明将以《达摩院通义 mPLUG 多模态预训练技术演进及应用实践》为主题，对mPLUG相关技术及应用案例进行全面讲解。

预训练语言模型技术极大的推动了NLP领域的发展，随着多模态信息越来越普及，多模态预训练技术与应用也逐渐备受关注，近些年也取得了显著的成绩。达摩院借鉴人脑模块化设计，创新性的构建了模块化多模态大模型基座mPLUG，采用模块化结构统一多模态理解和生成，解决跨模态信息融合时由多模态信息不对称性导致的两个重要问题：信息淹没和低效。

在多个多模态下游重点任务中，mPLUG均取得了SOTA，并完成了VQA首超人类突破，相关技术已在Github和达摩院ModelScope进行了开源开放。同时，mPLUG相关技术也已服务于阿里内部多个核心业务场景，包括主搜、拍立淘、闲鱼、阿里妈妈、数字人、业务中台、店小蜜等。

「阿里达摩院大模型公开课」的直播将以视频直播形式进行。每一讲均由主讲与问答两部分组成，其中主讲40分钟，问答为20分钟。