欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智东西公开课
微软亚研院提出通用预训练模型MASS
2019-05-10
机器之心
16
5月10日消息,微软亚洲研究院的研究员在ICML 2019上提出了一个全新的通用预训练方法MASS(Masked Sequence to Sequence Pre-training),在序列到序列的自然语言生成任务中全面超越BERT和GPT。在微软参加的WMT19机器翻译比赛中,MASS帮助中-英、英-立陶宛两个语言对取得了第一名的成绩。MASS对句子随机屏蔽一个长度为k的连续片段,然后通过编码器-注意力-解码器模型预测生成该片段。MASS有一个重要的超参数k(屏蔽的连续片段长度),通过调整k的大小,MASS能包含BERT中的屏蔽语言模型训练方法以及GPT中标准的语言模型预训练方法,使MASS成为一个通用的预训练框架。微软研究院表示,将在不久之后开放源代码。
通用