面向数字电视的端侧说话人识别技术

点击上方 Arm 社区 关注我们

作者：Arm 工程部工程师 Marcus Corbin

近年来，我们与电视的交互方式发生了改变。过去，我们需要通过多次按键来操控屏幕键盘，如今则可以直接通过语音进行交互。尽管这极大地改善了数字电视 (DTV) 的用户体验，但仍有更大的潜力来提供沉浸式和引人入胜的体验。设想一下，当你对电视说“推荐一部电影”或“我今天有哪些日程安排”，电视能够根据你的声音识别出你的身份，并提供个性化的回复。这正是说话人识别技术所能实现的功能。说话人识别是指根据说话人的语音特征，而非具体的话语内容来识别说话人的过程。

图 1 展示了典型的说话人识别系统。如图所示，原始音频输入被传递到预处理阶段，以提取音频的关键特征。预处理后的音频被传递到模型中，由模型进行嵌入提取。模型会输出音频输入的向量表示，称为嵌入。

图 1：典型的说话人识别系统

嵌入可以使用评分函数（通常是余弦相似度 ^[1] ）进行比较，分数越高，表示两个嵌入越相似。如果得分高于某个阈值，就可以判定这两个嵌入的说话人是吻合的。

模型细节

在研究哪种模型适合此项目时，我们考虑了模型大小、模型精度，以及推理时间。在最终的实现方案中使用了 TitaNet Small 模型，该模型基于 Koluguri 等人在 2021 年发表的论文《TitaNet：利用一维深度可分离卷积和全局上下文的说话人表示神经模型》 ^[2] ，以及 Han 等人在 2020 年提出的 ContextNet 编码器-解码器架构 ^[3] 。此外，该模型采用了加性角度边界损失进行端到端训练，有助于优化说话人嵌入之间的余弦距离。

TitaNet Small 模型的大小仅为 TitaNet Large 的一半多，论文报告的误差分别为 1.15% 和 0.68%。这意味着 TitaNet Small 在模型大小和精度之间实现了良好的折衷，同时即使在资源有限的环境中也能提供优异的推理时间。

与大多数基于语音的机器学习 (ML) 模型一样，TitaNet Small 不接受原始音频作为输入。计算音频特征需要进行预处理。此项目中采用了梅尔频谱 (Mel Spectrogram) ^[4] 音频处理技术。

在说话人识别系统中，支持不同长度的音频输入非常实用。特别是在录入过程中，用户可以随时停止录音。这意味着专为处理音频而设计的 ML 模型通常将动态轴作为输入，使其能够处理不同长度的音频输入。然而遗憾的是，许多可用的 TensorFlow Lite (TFLite) 推理后端要么对动态输入轴的支持有限，要么根本不支持。

该应用是围绕一个具有动态输入的模型设计的。尽管如此，为了在仅支持固定轴的 GPU 代理上测试 TFLite 的推理，还导出了一个固定轴模型。

实现

图 2 展示了应用结构的总体框图。该应用是为安卓系统开发的，但软件栈可以轻松移植到其他热门的数字电视操作系统上。

图 2：应用结构的总体框图

大部分应用逻辑和性能关键型工作都由应用的 C++ 层处理。TitaNet Small 模型最初使用 PyTorch 框架开发。虽然 PyTorch 适合测试和开发模型，但为了尽可能提高端侧的推理性能，该模型被转换为 TFLite。

转换 ML 模型通常颇具挑战。虽然有许多可用的工具，但要找到支持模型算子的合适工具并非易事。在此项目中，模型首先被导出为 ONNX 格式，然后使用 “onnx-tensorflow” ^[5] 工具将其转换为 TensorFlow 模型。

转换为 TensorFlow 格式后，使用 TensorFlow 库提供的 TFLiteConverter 来导出 TFLite 模型。此外，还利用 TFLite 的训练后量化优化功能生成了一个量化模型。

该应用支持预录音频和实时音频。图 3 是预录数据页面的截图。如图所示，当所选的两个音频片段来自同一个说话人时，系统验证结果显示吻合。反之亦然，当所选的两个音频片段来自不同说话人时，系统报告为不同说话人。

图 3：预录数据页面 （左右滑动查看）

在实时数据模式下，该应用可通过分析实时音频输入来识别说话人。麦克风会持续录制传入的音频，当录制的音频足够多时，就会执行识别管线。新用户可以被录入系统。如果无法识别说话人，系统将显示检测到未知说话人。

图 4：新用户录入和识别（左右滑动查看）

该应用的关键性能指标是管线执行时间和 CPU/GPU 利用率。管线执行时间非常重要，因为管线执行得越快，处理器就有越多时间处理数字电视上运行的其他任务。了解 CPU/GPU 利用率有助于全面了解应用在运行推理时如何有效地利用可用资源。它还能显示了推理运行之间的情况。

通过对管线的测试，我们发现推理时间在管线执行时间中占大部分。图 5 展示了归一化的管线时序。因此，了解不同设备和后端对推理的影响非常重要。我们使用 Arm Streamline Performance Analyzer ^[6] 进行时序性能基准测试并采集 CPU/GPU 利用率信息。

图 5：归一化的管线时序

为了比较不同设备的管线执行时间，我们使用 TFLite 的 XNNPack 后端，在四核 Arm Cortex-A76 CPU 和四核 Cortex-A55 CPU 处理器上运行应用。然后，仅使用每个处理器的单个核心重复测试。图 6 汇总了测试结果。

图 6：不同设备的管线执行时间结果

正如预期的那样，Cortex-A76 的平均管线执行时间比 Cortex-A55 更短，这表明更强性能的硬件提供了更快的执行速度。图中也显示了四核执行相对于单核执行的显著增益。四核 Cortex-A76 的平均速度最多提高了三倍，四核 Cortex-A55 的平均速度则最多提高了 3.8 倍。尽管并非所有的管线都可以并行化处理，但推理的大部分过程因此而获得了性能改善。

管线运行时间越短，CPU 就能有更多时间运行其他任务，从而提供更出色的整体用户体验。这些测试还证明，可以在单个 Cortex-A55 核心上运行说话人识别技术，并仍能达到可接受的推理时间。尽管如此，这种方法对用户界面的响应速度有明显影响。

Arm Mali GPU 还可用于 ML 工作负载，从而进一步降低 CPU 利用率，为其他任务留出更多空间。如前所述，（在撰写本文时）TFLite 的 GPU 代理需使用固定轴模型。图 7 显示了固定轴模型间的比较。在四核 Cortex-A76 上运行与在 GPU 代理和四核 Cortex-A76 之间分割执行进行了比较。

图 7：管线执行时间与音频长度间的比较

TitaNet Small 模型中的某些算子不支持 GPU 执行，这意味着这些算子会退回到 CPU 执行。因此，使用 GPU 代理的平均推理时间比使用 CPU 慢了 21.8%。然而，在使用 GPU 代理时，CPU 利用率减少了 51.2%。图 8 展示了这一情况。

图 8：管线执行期间的平均 CPU 利用率

这些结果表明，在 GPU 活跃度较低的情况下，可以卸载部分工作负载，从而减轻 CPU 的压力。在 GPU 上运行推理可实现负载平衡，并充分利用所有可用硬件。

这里展示的推理时间是在四核 Arm Mali-G610 GPU 上运行时收集的，使用的是 GPU 代理 2.16 版本。由于具体的配置和对算子的支持会直接影响执行速度，因此不同硬件、模型和应用的执行时间都不尽相同。

模型量化是一种可降低运行推理的计算和内存成本的优化技术。具体做法是用较小的数据类型来表示权重和激活，例如用 8 位整数代替 32 位浮点数。

训练后量化是在模型转换过程中进行的一种优化技术。顾名思义，它可以对已经训练好的模型进行量化，主要分为三种技术：动态范围量化、全整数量化、Float16 量化。本文仅探讨动态范围量化，因为这种技术在转换过程中不需要代表性数据集。动态范围量化是指仅将模型权重量化为整数。该模型在执行时尽可能混合使用整数和浮点运算操作。如果无法实现，执行将退回到 Float32。

TitaNet Small 量化模型实现了约 10% 的速度提升，内存占用减少了约 50%。虽然训练后的量化会致使质量略有下降，但利大于弊。在我们的实验中，模型精度的降低几乎可以忽略不计。

图 9：量化模型与非量化模型的归一化内存使用情况对比

由 Arm 技术赋能的数字电视能够运行边缘 AI 工作负载，改善用户体验，同时维护数据隐私。讲话是我们自然的交流方式。要简化用户与电视的交互方式，重要的是不仅要理解用户所说的内容，还要知晓说话人的身份。我们的研究结果表明，高性能 Arm CPU 为说话人识别技术与日程安排、语音转文本以及未来的端侧大语言模型 (LLM) 等其他 AI 语音任务的结合提供了可能性。

* 本文为 Arm 原创文章，转载请留言联系获得授权并注明出处。