12月起，智东西公开课联合达摩院自然语言智能实验室全新策划「阿里达摩院大模型公开课」。此次公开课开设两讲，阿里巴巴达摩院高级算法工程师李晨亮、NLP高级算法专家严明将分别进行直播讲解。

12月14日晚7点，阿里巴巴达摩院高级算法工程师李晨亮将主讲《达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索》。李晨亮将对英文SOTA生成预训练模型PALM、中文社区首个超大规模生成模型PLUG，和GPT-3的中文复现版本三个大模型，以及它们在AIGC 文本创作领域的应用进行深度讲解。

PALM 提出时是英文SOTA生成预训练模型，结合自编码和自回归的预训练，在英文CNN/Daily Mail、Giagaword等数据集上超过BART、T5等模型。而最新的PALM 2.0，在中文社区的生成预训练模型中也达到了SOTA。

PLUG提出时是当时中文社区最大规模的纯文本预训练语言模型，集语言理解与生成能力于一身，在语言理解（NLU）任务上，以80.179分刷新了当时Chinese GLUE分类榜单的新记录排名第一；在语言生成（NLG）任务上，在多项业务数据上较State-of-the-art平均提升8%以上。除此之外，PLUG在zero-shot生成的表现上，也较此前的模型均有明显的优势。

中文GPT-3是对2020年OpenAI提出GPT-3的中文版本。其主要思想是通过大幅度增大模型规模至1750亿，同时利用无监督数据和language model预训练，使模型具备强大的zero-shot生成能力。因为GPT-3主要支持英文，对于中文效果较差，同时访问使用需要申请，因此达摩院推出了中文GPT-3，并创新性的结合无监督数据和有监督prompt数据，训练了不同版本规模的中文GPT-3，为中文社区带来更好用的中文生成大模型，目前模型具备多种生成能力，包括：代码生成，小说续写，作文生成、论文生成等。

「阿里达摩院大模型公开课」第1讲的直播将以视频直播形式进行。直播由主讲与问答两部分组成，其中主讲40分钟，问答为20分钟。

第1讲

主 题 
《达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索》

提 纲
1、AIGC 文本创作的研究现状与应用前景
2、英文 SOTA 生成预训练模型 PALM 及全新中文 PALM 2.0
3、超大规模中文理解和生成联合模型 PLUG
4、中文 GPT-3 的零样本生成能力探究

主 讲 人
李晨亮，阿里巴巴达摩院高级算法工程师；2019 年硕士毕业于北京邮电大学；主要研究方向为自然语言处理，包括预训练语言模型、文本生成、多模态等；曾经在相关领域顶级会议如 ACL、EMNLP、AAAI 等发表十多篇相关论文；参与多个国际评测和比赛，在生成、结构化、多模态的多个相关评测榜单上达到第一，并在多模态 VQA 榜单上首次超越人类水平。

直 播 时 间
12月14日19:00-20:00