ACTS高级语音质量分析测试系统

    3)ACTS-MM 测试项目

前面说明了 ACTS 具有两个模块，其中 ACTS-AQA 主要是国际国内及营运商的标 

准测试，而 ACTS-AM 是除了基本标准测试之外的能够提高智能终端质量以及与用户体

验一致的客观测试，具体地：

ACTS-MM 上行测试项目：

　　基本项目：

　　8 喇叭的背景噪声播放，覆盖用户日常遇到的各种噪声环境和可调的混响场景;

　　基本测试项目：

　　消噪后的近端语音强度 Voice Level。Voice Level 主要是以 NE Only 作为参考，如果高了，就表明消噪不干净，残留噪声太多;如果低了，就表明消噪的同时也伤及语音

　　消噪后的噪声强度 Noise Suppression

　　ITU-T P.863 标准 POLQA

　　ITU-T 关于语音质量客观测试的标准，是 PESQ 的扩展和更新，超宽带测试

　　ETSI EG 202 396-3 标准 S-MOS/N-MOS

　　ETSI 关于消噪处理后的语音和残留噪声的客观测试标准

　　SNRi：ITU-T P.160 Appendix II Amendment 2, 用于测量在各种噪声下，消噪处理的信噪比改进，消噪强度和消噪平衡度。如果能不得到消噪前的语音，就用靠近手机主麦克风位置的标准麦克风来进行测试。具体参数：

　　SNRi：用于手机消噪后，信噪比的改进的测量。注意此处的噪声功率估计是用语音短时间间隙的噪声

　　TNLR：用于手机消噪后，总体消除噪声 dB 值测量。此处的噪声功率估计是同时用长时间纯噪声段和语音短时间间隙的短噪声段度

　　DSN：用于手机消噪后，近端语音 Level 被同时抑制 dB 值测量。理想情况下，希望只消除噪声，而不对近端语音产生抑制

　　DNRSL：用于手机消噪后，纯噪声段的消噪后残留噪声与近端语音混合段消噪后的残留噪声的 Level 差的 dB 值测量。理想情况下，希望残留的噪声在纯噪声段和近端语音与噪声混叠段一样

　　ACTS-PPA：Purified POLQA，即忽略残留噪声影响的客观语音质量。人的主观评价消噪后得语音质量是忽略残留噪声影响的，而现有的方法在评估消噪后语音质量都深受残留噪声的影响，这与人的主观评测不一致。爱普泰科的 Purified POLQA 可以减低残留噪声的影响，从而结果更接近于人对于环境噪声下消噪处理后的语音质量的主观评价。

　　ACTS-VQi：手机消除噪声前后的语音质量的提高或者降低。消除噪声技术虽然能降低环境噪声，但是消噪算法并不总是一定竜提高语音质量的。VQi 就是用来测试相对于消噪前，消噪后语音客观质量是提升了还是降低了。为了突出语音质量，与 Purified POLQA 一样，VQi 是忽略残留噪声影响的客观语音质量，并且如果能不得到消噪前的语音，就用靠近手机主麦克风位置的标准麦克风来进行测试。

　　ACTS-MESTOI：语音可懂度评估。语音可懂度直接关系到人与人的语音沟通有效性以及人与机器沟通的识别率。通常语音的混响和环境噪声都会严重影响语音的可懂度。一个好的消噪算法不仅能保留好的语音质量，更要保留优异的可懂度。此测试项目能够有效地测试经过消噪处

　　理后的实际语音可懂度，从而可以用来评估人与人沟通时的语音可懂度以及人机交互的语音识别率。

　　ACTS-RNA：残留噪声的客观质量评估。较全面地考虑了影响残留噪声质量的因素，如音乐化噪声(俗称流水声)等，能够有效评估别人讲话噪声等强非平稳噪声经消噪处理后的残留噪声，更接近于人的主观评测。

　　ACTS-CT: 消噪收敛时间的测量。平稳噪声的消噪收敛时间比较容易测量，但是非平稳噪声的收敛时间就很难测量，因为噪声本身起伏不定。ACTS- CT 克服了这个难题，能够准确地测量对于非平稳和平稳噪声的消噪收敛时间。

　　ACTS-TA: 全自动手机握机角度的测量。不同的用户使用手机时抓握的习惯差别很大，而多麦克风消噪处理对于手机的抓握角度很敏感，处理的不好可能会把近端的语音也抑制掉，这样对方就听不见用户自己的声音，对通话造成极大的困扰。所以对于多麦克风的手机常用的极限角度位置的通话性能必须要测量。ACTS-TA 就是一个测量分析和控制软件和电子机械硬件的结合系统，能精确按照 ITU-T P.64 的 A 角度和 B 角度的旋转以及能够在人工耳自动加可调压力的自动手机角度测量系统。并且旋转角度的操作都是离耳进行的，不会磨损人工耳，而且有异常状态保护装置。

ACTS-WTH: 全自动手表角度的测量。不同的用户使用手表时的手抬的高度和角度差别很大， ACTS-WTH 是一个嫁接在人工头上的模拟使用者手表使用高度和角度自动测量系统。手臂的表面与使用者的声学反射性能一致

 

ACTS-HF：第三代全自动免提距离、位置、角度和屏幕操作及手机开关控制等的测试模块和控制软件(speakerphone mode)，尽量考虑声学反射所产生的影响

　　实现 3 维平移，2 维度偏转，具体：

　　X 轴：10cm ~ 130cm

　　Y 轴：-100cm ~ +100cm

　　Z 轴： -30cm ~ +15cm(到达人工头顶)

　　水平偏转：0°~ 180°

　　垂直偏转：0°~ -90°

　　手机固定抓具上主要包括六个部分接口： 3 键位按压，2 个屏幕触控 和 1 个 RGB 传感传感器

ACTS-SSK：智能音箱测试全自动夹具，能自动调节距离、高度、墙边、墙角等

ACTS-STV：智能大屏幕测试全自动夹具，能自动调节距离、高度、墙里和墙外等

　　待测设备与语音音源之间有时会有遮挡物，甚至待测设备有时会被东西(如被子、枕头、衣服和抽屉等)覆盖，可以用语音唤醒等来寻找手机/耳机/手表等。此时的待测设备的麦克风接收到的语音信号与正常情况下有很大的区别。ACTS-Dif 是全球第一款针对待测系统被遮挡或者覆盖的情况下的测试模拟系统，可调节不同遮挡或者覆盖物的材质和尺寸材质上分为硬性和软性

 

ACTS-VR：各种实际使用环境下语音识别率测试模块 ACTS-VR：各种实际使用场景下的语音识别性能的客观和自动化的测试系统，既可测试服务器语音识别、也可以测试本地和云端语音识别。接口可以通过内部语音识别接口，也可以通过外部的屏幕显示文字。

　　用于各种噪声下自动化语音识别率测试和分析，如正确识别率以及识别错误、插入错误、删除错误等。

　　为检验消噪技术对于语音识别的作用是增强还是减弱。智能语音应用环境复杂嘈杂对语音识别的来说是破坏性的。很多消噪技术应运而生，但是消噪方案并非都能真的提高语音识别率，有些反而降低语音识别率。需要有客观而全面测试手段。

　　a) 测试连接图

 

　b) 测试项目

　　i. 安静、混响和各种噪声下在不同距离、不同方向的整句识别率

　　ii. 安静、混响和各种噪声下在不同距离、不同方向的单词识别率

　　iii. 安静、混响和各种噪声下在不同距离、不同方向的单词插入率

　　iv. 安静、混响和各种噪声下在不同距离、不同方向的单词删除率

　　v. 安静、混响和各种噪声下在不同距离、不同方向的单词置换率

　　c) 测试数据库

　　i. 不同讲话人的语音库(普通话或英文或有些口音)

　　ii. 各种噪声

　　iii. 不同混响场

　　ACTS-VW：语音唤醒

　　a) 测试连接图

 

语音唤醒测试的基本连接

　　b)测试项目

　　i. 安静、混响和各种噪声下在不同距离的唤醒率

　　ii. 安静、混响和各种噪声下在不同距离的虚警率

　　iii. 安静、混响和各种噪声下在不同距离的唤醒无效率

　　c) 测试数据库

　　i. 不同讲话人的唤醒词

　　ii. 不同讲话人的与唤醒词相近的词

　　iii. 不同讲话人的与唤醒词差距较大的词

　　iv. 各种噪声

　　v. 不同混响场

　　ACTS-MD：测试消噪 vs 多个 Mic 差异性

　　同样的消噪算法和参数，如果多个 Mic 差异大的话，会大大影响消噪性能。如主 Mic 比参考 Mic 的灵敏度高，噪声消除的可能不够;反之，则语音容易被抑制

　　在挑选消噪算法和调试参数时，ACTS-MD 可以检测验证多个 Mic 差异性所带来的消噪性能的差别

　  ACTS-Lin：回声 vs 整机线性度

　　同样的回声抵消算法和参数，如果整机的线性度差异大，会大大影响回声抵消和双工的性能，ACTS-LIN 可以检测验证整机线性度

　　ACTS-RE：听筒/扬声器人耳反向工程失真测试，将非线性分维分形处理理论应用于人耳反向工程，建立新的听音模型，从而达到音频客观检测与人耳主观听力检测一致的性能。

　　ACTS-AIM：测试目标音频设备/系统的空间感，包括每一个特殊声音的空间体现的位置、整体声音的环境空间感。

　　ACTS-MM 下行测试项目：

　　基本项目：

　　下行 VQ POLQA：客观语音

　　ANC: 接收端主动降噪性能测试。这是另外一个解决环境噪声下使得用户听清楚对方声音的方法。ACTS-ANC 用于客观测试接收端主动降噪的性能。

　　ACTS-ANC 是 ACTS 测试系统的一个模块，用于各种噪声下手机主动降噪功能的测试，如各种握姿，压力，以及状态(通话/待机)下的噪声频响测量，以验证主动降噪的实际效果

　　不同的手机压力下，实际到达耳朵的噪声会有一定的变化，这些都需要实际测量才能了
 

       ANC 的实时反向信号由听筒播放，而听筒作为点声源不同的压力下和耳膜的距离是不一样的，由此带来信号能量和消噪效果的差异

　　不同压力下耳朵作为腔体其密闭性有差别，对噪声的隔音能力也不一样

　　对于实时采集噪声信号的麦克风，其不同压力下位置会发生

　　变化，在接近人头的区域由于头面反射造成的非均匀场里移动

　　导致采集的信号发生变化

　　ANC vs Talking/Idle

　　在手机处于通话和待机时分别测量指定压力和远离人头两种状态的频响曲线，以得到完整的 ANC 频谱特征

　　ANC vs Pressure

　　在通话状态下，对于连续的若干压力值以及远离人头的状态测量噪声频响曲线，以得到不同压力条件下的 ANC 效果差异和变化趋势

　　容易使用

　　使用简单、无需专门培训—降低应用人工成本

　　配置简单 -- 一目了然的配置选项

　　容易添加新的测试用例

　　自动、有效

　　简便的校准过程，将人工干预减到最少

　　全自动的测试过程 -- 一键搞定，并且可以进行 Overnight 测试

　　自动进行测试设备检测 -- 避免因喇叭或麦克风没接好或损坏造成的测试失败

　　ACTS-MM 系统的组成

　　ACTS 前端, 系统的控制、采集和通信;.

　　ACTS-MM 相应的软件模块

　　ACTS 各种手机/手表/音箱/大屏等全自动测试系统 (optional)。另外，可以定制所需要的

　　自动测试系统

　　预装 Windows 10 的电脑

　　ACTS HATS 或者 B&K HATS, 头肩模拟器

　　标准麦克风及其配件

　　模拟噪声场的 8 个监听级的音响

　　多通道声道的声卡

　　综测仪(R&S CMW500 或者 CMU200)

　　测试实验室