苹果发布论文，揭示 Siri 的秘密

本篇文章2072字，读完约5分钟

苹果的跨平台siri虚拟助手在全球拥有超过5亿用户。显然，语音识别是苹果感兴趣的重要领域之一。

上周，苹果公司发表了一系列关于如何改进语音触发检测和说话人验证以及多说话人语言识别技术的预印研究论文。

扬声器验证和语音触发检测

在第一篇论文中，苹果公司的一组研究人员提出了一个训练有素的人工智能模型，该模型可以执行自动语音识别任务和说话人识别任务。

正如他们在摘要中解释的那样，语音助手识别的命令通常以触发短语(例如，“嘿，siri”)作为前缀，检测该触发短语包括两个步骤。

首先，人工智能必须判断输入音频中的语音内容是否与触发短语的语音内容相匹配(语音触发检测)；其次，人工智能必须判断说话人的声音是与注册用户的声音匹配还是与用户的声音匹配(声音验证)。

通常，这两项任务是独立考虑的。然而，一些合著者假设知道语音始发者可以帮助推断语音信号中的语音内容，反之亦然，这将有助于评估这两个属性。

在这方面，研究人员设计了三个可以学习语音和说话者信息的模型，并训练了一组数据，其中包括超过16，000小时的注释样本，其中5，000小时的音频有语音标签(其余的是说话者标签)。

此外，100多名受试者使用智能扬声器设备在一系列声学设置中为语料库做出贡献，包括安静的房间、房间内电视或厨房设备发出的外部噪音，以及录音机以高音量播放的音乐。

值得一提的是，2000小时不间断的电视、广播和播客录音，没有触发短语，也被用来衡量“误报”率。

这些模型显示了学习语音和说话者信息的能力。同时，在相同数量的参数下(雷锋网按下，变量控制训练过程中的一些属性)，每个任务的准确性至少与基线模型相同。

事实上，在所提出的三个模型中，有一个在“多重”设置下优于说话人验证的基线，这比文本无关任务的基线高7.6%。

研究人员认为，这样的实验结果非常有趣，因为这些模型是用不相关的数据集训练的，也就是说，每个音频样本要么有一个语音标签，要么有一个说话者标签，而不是两者都有。

通过观察结果，研究人员提出了一种灵活的设计，即通过连接不同任务的训练数据来训练多个相关任务的模型，而不是为每个训练实例获取多个标签。从实用的角度来看，在两个任务之间共享计算可以节省设备的内存、计算时间或延迟以及消耗的功率/电池。

错误触发缓解

在这项研究中，有一项补充研究，以减少错误触发的发生，也就是说，语音助理故意忽略语音助理的声音，如siri。

研究人员称，他们使用了图形神经网络(Graphic Neural Network，gnn)，一种基于图形结构的人工智能模型，其中每个节点都与一个标签相关联，目标是在没有基本事实的情况下预测节点的标签。

研究人员在论文中写道:

语音触发的智能助手通常在开始听用户请求之前检测到一个触发短语……错误的触发通常来自背景噪音或类似于触发短语的声音。因此，减少误触发是构建以隐私为中心的无创智能助手的一个重要方面。

在未来的工作中，该团队计划将基于gnn的处理扩展到其他任务，如用户意图分类。

多语言说话人识别

在另一篇论文中，苹果研究人员探索了一种为多语言用户量身定制的说话者语言识别系统。

他们说语音识别系统对大多数语言都有很高的准确率。然而，当出现多种语言时，这种语言识别系统的性能并不令人满意。因此，基于这样的实现，研究者们决定开展说话人语言识别系统的工作。

值得注意的是，《华盛顿邮报》最近委托进行的一项研究显示，谷歌和亚马逊生产的流行智能扬声器比非美国口音更有可能理解本地用户的声音。

与此同时，像总机这样的语料库已经被证明对中国特定地区的用户具有可测量的倾向性，并且该语料库也是ibm和微软等公司用来测量语音模型错误率的数据集。

鉴于这种情况，合著者将使用模式的知识集成到听写系统中，该系统可以为来自60多个地区的说话者做出决策。

其中，声学子模型将根据语音信号传输的证据进行预测，而上下文感知预测组件将考虑各种交互式上下文信号，并通过这两种预测选择最佳的单语自动语音识别系统。

应当理解，上下文信号包含关于发送听写请求的条件的信息，包括关于安装的听写区域、当前选择的听写区域以及用户在发送请求之前是否切换了听写区域的信息。

重要的是，当语音信号太短时，它们有助于通过声学模型产生可靠的预测。例如，如果用户同时安装了英语和德语，像“nain”这样的短而模糊的句子在德语中可能是否定的“nein”，在英语中可能是数字“9”。

此外，为了评估该系统，研究人员还开发了一个自定义指标，称为“平均用户准确度”(aua，average user accuracy)，他们认为该指标可以更好地反映模型中“人口水平”的使用模式。

通过对128，000个听写语句的内部语料库进行严格的训练，并为多语言用户提供相应的交互式上下文信息，它在所有语言组合中的平均准确率达到87%，同时在最差情况下的准确率比基线提高了60%以上。

此外，在团队调整参数以平衡精度和延迟以及在设备上运行模型的计算负荷后，平均延迟从2秒减少到1.2秒，对aua的影响不超过0.05%。

来源：零点娱乐时刊