在自然语言处理与计算机视觉任务中，AI模型的开发主要分为模型预训练和模型微调两个阶段。预训练是指预先训练的一个模型或者指预先训练模型的过程，通常需要大量的数据集做训练。然而在实际情况中，我们很难拥有足够大的数据量，基本也就几百或者几千张，不像ImageNet有120万张图片这样的规模。

拥有的数据集不够大，而又想使用很好的模型的话，很容易会造成过拟合。因此一般的操作是在一个大型的数据集上训练一个模型，然后然后使用该模型作为类似任务的初始化或者特征提取器，对训练参数进行微调，以便在最小的资源下达到最好的模型效果。

当然，实际任务的不同需求，模型的调参优化技巧就显得极为重要。为此，惠普在智东西公开课开设惠普AI工作站专场，由英伟达特约。现阶段推出两讲，特邀两位Kaggle Grandmaster分别针对NLP和CV两个领域，以Kaggle竞赛项目为案例，为大家直播讲解不同任务中的模型调参优化技巧。（偷偷地说一下，根据Kaggle平台的数据显示，目前只有198名Kaggle Grandmaster）

BERT模型是Google在2018年提出的一个面向NLP的无监督预训练模型，在结构上是Transformer的编码部分，每个block主要由多头self-Attention、标准化(Norm)、残差连接、Feed Fordawrd组成。BERT模型无疑是一个里程碑的模型，它证明了一个非常深的模型可以显著提高NLP任务的准确率，并且这个模型的训练可以是从无标记数据集中预训练得到。

同时由于BERT模型是无监督的，因此在实际的预训练过程中，只需要爬取或者使用开源数据集即可进行预训练，极大的方便了BERT模型的迁移。而在模型微调阶段，则需要针对具体的任务来进行模型微调，以便达到较好的效果。

1月15日晚8点，英伟达特约·惠普AI工作站专场第1讲上线，由特邀讲师、Kaggle Grandmaster吴远皓参与。这一讲定名为BERT模型调优公开课，主题为《BERT模型的调参优化与Kaggle竞赛项目解析》。

Kaggle是一个非常流行的进行数据发掘和预测竞赛的在线平台，平台上有着种类丰富的项目，同时想要在Kaggle竞赛中取得奖金乃至取得好名次的难度也非常高。在本次的专场讲解中，Kaggle大神吴远皓将会以Kaggle竞赛中的项目为例，如TensorFlow 2.0 Question Answering、Toxic Comment Classification Challenge等项目，向大家介绍传统语言模型的局限性，以及目前非常火热的Transformer模型和BERT模型，同时重点解析BERT模型在实际应用过程中的调参技巧和结构优化方案。

吴远皓分别于2014年和2017年在北京清华大学取得学士和硕士学位，现在是一名算法工程师，主要关注自然语言处理领域，具有丰富的算法研发和落地经验。他在2017年底初识Kaggle，已参加超过20场Kaggle竞赛，获得8枚金牌，并于2019年成为Kaggle Competitions Grandmaster，全球最高排名第36位。

专场信息

专场主题

《BERT模型的调参优化与Kaggle竞赛项目解析》

专场提纲

1、传统语言模型的局限性
2、从Transformer到BERT，大规模参数模型的结构解析
3、BERT模型的Pipeline构建及应用
4、在Kaggle竞赛项目中的调参技巧与结构优化

特邀讲师

吴远皓，分别于2014年和2017年在北京清华大学取得学士和硕士学位。目前为算法工程师，主要关注自然语言处理领域，具有丰富的算法研发和落地经验。在2017年底初识Kaggle，已参加超过20场Kaggle竞赛，获得8枚金牌，并于2019年成为Kaggle Competitions Grandmaster，全球最高排名第36位。

直播信息

直播时间：1月15日20:00
直播地点：智东西公开课小程序

专场议程

20:00-20:40：主讲环节
20:40-20:45：惠普宣讲环节
20:45-21:00：问答环节

入群方式

为了便于大家学习和交流，本次专场讲解设有主讲群，并将邀请讲师入群。加入主讲群，除了可以与讲师直接请教和交流，还能提前获得课件，且能结识更多的技术牛人。
欢迎添加小助手小语（ID：hilele20）进行申请，备注“姓名-公司/学校-职位/专业”的朋友将优先审核通过。