智东西（公众号：zhidxcom）
编 | 王小溪

导语：亚马逊的研究人员研究出的AI文本规范系统可代替人工编写规则，让文本规范化过程的错误率降低81%。

智东西5月18日消息，据外媒报道，亚马逊的研究人员研究出了新的算法，这种算法能更好地实现文本规范化（Text Normalization，TN），让Alexa更快、更好地理解不同语言的指令。

文本规范化是指将文本中的数字、符号、缩写等的不同描述方式转化为统一的语言文字。举个简单的例子，“20%”在英文TTS（text-to-speech synthesis，从文本到语音）系统里则会被转换成“twenty percent”。

据研究人员Alexa AI部门应用科学家Ming Sun称，相比于现有的最佳神经系统，他和同事研究的AI文本规范系统能将文本规范化的错误率降低81%，并且还能将延迟时间减少63%。此外，子字单元使AI模型能够更好地处理以前没有见过的输入单词。

在论文《Neural Text Normalization with Subword Units》中，Ming Sun更细致地呈现了他和同事的研究成果。

一、AI系统可代替人工编写规则

文本规范化是大多数自然语言系统中的基本处理步骤，它的主要功能是将文本中的数字、符号、缩写等的不同表达形式转换成统一的语言文字。

举个例子，在英语语境下，如果对亚马逊的语音助手Alexa说：“Book me a table at 5:00 p.m.（在下午5：00给我预订个餐位）”，这句话中的时间“5:00 p.m.”可能会被语音助手的自动语音识别器转录为“five p m”，并进一步转化为“5:00PM”。再比如，“6：30PM”会被转化为TTS系统所能识别的“six thirty p m”。

像这种从“5:00PM”到“five p m”的转化过程被称为文本规范化，反之则为反向文本规范化。

那么这些转化是如何达成的呢？

根据Ming Sun的说法，目前，亚马逊语音助手依赖于数千条日期、电子邮件地址、数字、缩写和其他表达的人工规范化规则。这个方法本还不错，但随着Alexa所涉及的交互范围不断增加，人工编写规则本质上成为一个很容易出错的过程。此外，随着Alexa不断增加对新的语种的应用，重新编写规则将是一项巨大的任务。

在论文中研究人员提出，将书面语言规范化为文本语言，存在以下困难：

1.人们很难获得训练机器学习模型的监督数据；

2.正如上文例子中显示的那样，书面文本具有歧义，在不同的语境转化可能需要不同的规范化方法。

为此，研究人员研究了一种由机器学习驱动的更具可扩展性的技术。有关该研究的论文将在今年的北美计算语言学协会（NAACL）的会议上展示。

二、新算法将错误率降低81%

在论文中，研究人员介绍文本规范化是会话系统中的一个重要步骤。它能将书面语言规范化为文本语言，以促进语音识别、自然语言理解以及从文本到语音的合成。

有限状态传感器（FSTs）通常用于构建处理文本规范化的语法。然而，将语言知识翻译为成机器所能理解的语法需要付出大量的努力。

以往的研究侧重于借助有限的词级语境对一个词或短语进行规范化，而孙明和刘玉宗在论文中提出的方法是直接对完整的句子进行规范化。

Ming Sun和他的同事们所提出的AI文本规范化系统，是将网络的输入和输出流中的单词分解成更小的字符串，这种字串符被称为子字单元（subword units）。这些子字单元能减少机器学习模型必须学习的输入数据量，并能很好的消除歧义。

他们研究的算法能用来识别最常出现的双字符单元和三字符单元，直到达到大约2,000个子字符的容量。这些单训练输出子字单元的AI系统，最终能拼接成完整的单词。

研究人员表示，在对来自公共数据集的500,000个示例进行系统训练之后，与先前所报告的性能最佳的机器学习系统相比，他们研究的系统能将文本规范化的错误率降低75%，不考虑词性、字母大小写等额外的信息，错误率可以降低81%，单词错误率仅为0.2％，并且它还能将系统的延迟时间减少63%。此外，子字单元能使AI模型能够更好地处理以前没有见过的输入单词。

结语：亚马逊让智能语音助手更智能

亚马逊研究人员提出的新的AI文本规范化系统可改进文本规范化过程，单词错误率仅为0.2％，且能减少系统的延迟时间。

亚马逊目前一直在改进语音技术，让智能语音助手能不断扩大交互范围，并且可以理解更多种语言，此次技术如果能实现大规模扩散，将会让其语音助手Alexa变得更加智能。

论文链接：https://s3.us-east-2.amazonaws.com/alexapapers/NAACL_HLT_2019_neural_tok_final.pdf

文章来自：Venture Beat