大模型时代已经来临。11月,智东西公开课视觉AI教研组策划推出了「大模型系列直播课」,聚焦最具代表性的大规模预训练模型,讲解大模型的构建技巧和开发工具,挖掘大模型的应用案例。

联汇科技首席科学家赵天成博士、一流科技 LiBai项目负责人程鹏、潞晨科技创始人尤洋教授,以及北京面壁智能联合创始人&CTO曾国洋四位主讲人分别进行了主讲。

12月起,智东西公开课联合达摩院自然语言智能实验室全新策划「阿里达摩院大模型公开课」。此次公开课开设两讲,阿里巴巴达摩院高级算法工程师李晨亮、NLP高级算法专家严明将分别进行直播讲解。

12月14日晚7点,阿里巴巴达摩院高级算法工程师李晨亮将主讲《达摩院通义 AliceMind 预训练大模型在 AIGC 文本创作的探索》。李晨亮将对英文SOTA生成预训练模型PALM、中文社区首个超大规模生成模型PLUG,和GPT-3的中文复现版本三个大模型,以及它们在AIGC 文本创作领域的应用进行深度讲解。

PALM 提出时是英文SOTA生成预训练模型,结合自编码和自回归的预训练,在英文CNN/Daily Mail、Giagaword等数据集上超过BART、T5等模型。而最新的PALM 2.0,在中文社区的生成预训练模型中也达到了SOTA。

PLUG提出时是当时中文社区最大规模的纯文本预训练语言模型,集语言理解与生成能力于一身,在语言理解(NLU)任务上,以80.179分刷新了当时Chinese GLUE分类榜单的新记录排名第一;在语言生成(NLG)任务上,在多项业务数据上较State-of-the-art平均提升8%以上。除此之外,PLUG在zero-shot生成的表现上,也较此前的模型均有明显的优势。

中文GPT-3是对2020年OpenAI提出GPT-3的中文版本。其主要思想是通过大幅度增大模型规模至1750亿,同时利用无监督数据和language model预训练,使模型具备强大的zero-shot生成能力。因为GPT-3主要支持英文,对于中文效果较差,同时访问使用需要申请,因此达摩院推出了中文GPT-3,并创新性的结合无监督数据和有监督prompt数据,训练了不同版本规模的中文GPT-3,为中文社区带来更好用的中文生成大模型,目前模型具备多种生成能力,包括:代码生成,小说续写,作文生成、论文生成等。

12月15日晚7点,阿里巴巴达摩院NLP高级算法专家严明将以《达摩院通义 mPLUG 多模态预训练技术演进及应用实践》为主题,对mPLUG相关技术及应用案例进行全面讲解。

预训练语言模型技术极大的推动了NLP领域的发展,随着多模态信息越来越普及,多模态预训练技术与应用也逐渐备受关注,近些年也取得了显著的成绩。达摩院借鉴人脑模块化设计,创新性的构建了模块化多模态大模型基座mPLUG,采用模块化结构统一多模态理解和生成,解决跨模态信息融合时由多模态信息不对称性导致的两个重要问题:信息淹没和低效。

在多个多模态下游重点任务中,mPLUG均取得了SOTA,并完成了VQA首超人类突破,相关技术已在Github和达摩院ModelScope进行了开源开放。同时,mPLUG相关技术也已服务于阿里内部多个核心业务场景,包括主搜、拍立淘、闲鱼、阿里妈妈、数字人、业务中台、店小蜜等。

「阿里达摩院大模型公开课」的直播将以视频直播形式进行。每一讲均由主讲与问答两部分组成,其中主讲40分钟,问答为20分钟。