智东西(公众号:zhidxcom)
编 | 王颖

导语：亚马逊研究人员用迁移学习简化为Alexa添加新语种的过程，将训练数据减少50%。

智东西4月9日消息，亚马逊研究人员开发了一种新方法，通过迁移学习来简化为Alexa语音助手添加新语言的过程。

亚马逊研究人员在报告中提到，通过不断实验，机器学习模型学习新语言所需的数据需求已经降低了50%。他们将在5月在巴塞罗那举行的国际声学、语言和信号处理会议ICASSP上展示这项语言训练的方法。

一、什么是迁移学习？

迁移学习的过程是，首先在基础数据集和任务上训练基础网络，然后将学习的新特征重新调整或转移到第二个目标网络，以便在目标数据集和任务上进行训练。

亚马逊研究人员发表的论文Cross-Lingual Transfer Learning for Spoken Language Understanding（跨语言学习促进口语理解），描述了一种用最少的训练数据，将原本只适应一种固定语言训练的机器学习模型，适应到另一种语言的技术过程。

该论文的合著者，Alexa AI 自然理解实验室的科学家Quynh Do和Judith Gaspers表示，这种机器学习模型依靠跨语言迁移学习（cross-lingual transfer learning）来引导新的功能，这是跨语言迁移学习第一次被用来将联合意图槽分类器翻译成一种新的语言。

二、跨语言迁移机器学习模型的开发过程

模型中包含的口语理解（SLU）系统通常包括两个子任务，意图分类和插槽标记。意图是用户想要执行的任务，插槽表示意图所作用的实体。（例如，人们语音命令Alexa播放Panic演唱的High Hopesby，意图是播放音乐，插槽即在相应的位置填上歌曲名和艺人名。）

Quynh Do和Judith Gaspers注意到，通过不断的训练，意图和插槽分类器共同提高了性能。因此他们又继续探索了六种不同的联合训练AI系统。在将这六种训练系统的表现与英语SLU示例的开源基准数据集进行比较后，研究人员确定了三个表现优于前系统的联合训练AI系统。

接下来，他们尝试了词嵌入（与多维空间中的点对应的一系列固定长度坐标）和字符嵌入（反映单词及其组成部分的意义的集群），他们总共输入了六个不同的神经网络，其中包括一种称为长短时记忆模型（LSTM）网络的循环网络类型，该网络按顺序处理有序输入和有序输出。研究人员预先训练SLU模型，并对目标数据集进行微调，使用源语言（英语）的数据来提高SLU在目标语言（德语）中的表现。

二、跨语言迁移机器学习模型的效果

在一次大规模测试中，亚马逊研究团队创建了一个语料库，其中包括从英语Alexa SLU系统中采集的一百万个语句，以及来自德国Alexa SLU系统的10000和20000个随机语句样本。开发集包括来自德国系统的2000个语句。

通过训练双语输入嵌入，对来自两种语言中语义相似的单词进行分组，研究人员发现，一个源数据为100万个英语单词，目标数据为10000个德语单词的迁移模型，比一个训练了2万个德语单词的单语模型更准确地分类了意图。与单语言训练系统相比，跨语言学习模型的槽分类得分提高了4%。

研究人员表示，尽管LSTM模型在英语测试集中表现最好，但并不能保证它会产生最佳的迁移学习效果。在正在进行的工作中，他们也在尝试把其他模型转移到德语环境中。

论文链接：https://arxiv.org/pdf/1904.01825.pdf

原文来自：Machine Learning、VentureBeat