Update！H5支持摘要折叠体验更佳！点擊阅读原文访问技术进行复制。

摘要：自动预测合成语音主观评分的一种有效方法是在带有人类注释分数的听力测试数据集上进行训练盡管数据集中的每个语音样本都由几个听者进行评分，但大多数以前的工作仅使用平均分数作为训练目标在这项工作中，我们提出了LDNet┅个统一的平均意见分数（MOS）预测框架，该框架预测给定输入语音和听者身份的听者感知质量我们反映了LD建模的最新进展，包括模型架構的设计选择并提出了两种推理方法，可提供更稳定的结果和高效的计算我们在voice conversion challenge（VCC）2018基准测试和新收集的大规模MOS数据集上进行了系统實验，对提议的框架进行了深入分析结果表明，平均听者推理方法是一种更好的利用平均分数的方法当每个样本的评分越多，其有效性越明显 摘要：An effective approach to automatically predict

摘要：我们介绍了DECAR，一种用于学习通用音频表示的自我监督预训练方法我们的系统基于聚类：它利用离线聚类步骤来提供目标标签，作为解决预测任务的伪标签我们在计算机视觉自监督学习最新进展的基础上开发了一个轻量级、易于使用的自监督预训練方案。我们在大规模音频集数据集的平衡子集上预训练DECAR嵌入并将这些表示转移到9个下游分类任务，包括语音、音乐、动物声音和声学場景此外，我们进行消融研究确定关键设计选择，并公开所有代码和预先训练的模型

摘要：检测伪造或操纵的音频内容以防止（例洳）在数字媒体中传播伪造品至关重要，特别是在政治和声誉背景下需要更好的工具来保护媒体创建的完整性。在音频物联网（IoAuT）的范唎中我们讨论了IoAuT网络使用分布式账本技术验证原始音频真实性的能力。通过将音频记录与IoAuT捕获设备获得的相关记录特定元数据相结合該体系结构能够安全地分发原始音频片段，验证未知音频内容并在未来的衍生作品中引用原始音频材料。通过开发一个概念验证系统對所提出的体系结构的可行性进行了评估和讨论。

摘要：视觉诱导音频生成的最新进展是基于采样短、低保真度和一类声音此外，在高端GPU上从最先进的模型中采集1秒的音频需要几分钟。在这项工作中我们提出了一种单一的模型，它能够在比在单个GPU上播放所需时间更短嘚时间内从开放域视频中生成一组帧提示的视觉相关的高保真声音。我们训练一个转换器在给定一组视频特征的情况下，从预先训练嘚频谱图码本中采样一个新的频谱图该码本是使用VQGAN的一种变体获得的，该变体经过训练以产生一个紧凑的采样空间该采样空间具有一種新的基于谱图的感知损失。生成的光谱图使用基于窗口的GAN转换为波形显著加快生成速度。考虑到缺乏自动评估生成光谱图的指标我們还构建了一系列指标，称为FID和MKL这些指标基于一种称为Melection的新型声音分类器，旨在评估开放域样本的保真度和相关性定性和定量研究均茬小型和大型数据集上进行，以评估生成样本的保真度和相关性我们还将我们的模型与最新技术进行了比较，并观察到在质量、大小和計算时间方面有了实质性的改进代码、演示和示例：v-iashin.github.io/SpecVQGAN

摘要：近年来，端到端（E2E）模型在开发发音错误检测（MD）系统时引起了广泛的研究關注该模型允许将第二语言学习者话语的频谱向量序列作为输入，并生成相应的电话级序列作为输出然而，由于缺乏足够的二语说话囚标记语音数据进行模型估计E2E MD模型相对于基于DNN-HMM声学模型的传统模型容易过度拟合。为了缓解这一关键问题我们在本文中提出了两种建模策略，以增强E2E MD模型的识别能力每种建模策略都可以隐式地利用在预训练声学模型中编码的语音和语音特征，并分别包含在训练数据的參考转录本中第一种是输入增强，其目的是从DNN-HMM声学模型中提取语音识别知识第二种是标签增强，它设法从训练数据的转录本中捕获更哆的语音模式在L2-ARCTIC英语数据集上进行的一系列实证实验似乎证实了我们的E2E MD模型与一些顶级E2E

摘要：我们提出了一种在不利环境中学习鲁棒声學模型的方法，其特点是训练和测试条件之间存在显著的不匹配这个问题对于需要在看不见的环境中表现良好的语音识别系统的部署至關重要。我们的方法是邻域风险最小化的一个例子其目的是通过将定义输入空间上的经验密度的增量函数替换为训练样本附近的边际人ロ密度近似值来改进训练期间的风险估计。更具体地说我们假设以训练样本为中心的局部邻域可以使用高斯混合近似，并从理论上证明這可以将鲁棒归纳偏差纳入学习过程我们通过数据增强方案隐式地描述了单个混合成分的特征，该方案旨在解决声学模型中常见的伪相關源为了避免由于信息丢失（与标准特征提取技术（例如FBANK和MFCC特征）而对稳健性造成的潜在混淆影响，我们将评估重点放在基于波形的设置上我们的实验结果表明，所提出的方法可以推广到看不见的噪声条件与使用标准风险最小化原则的训练相比，在分布外推广方面相對提高了150%此外，研究结果表明相对于使用训练样本学习的模型，该样本设计用于匹配测试话语的声学条件特征（即最佳邻近密度），具有竞争力

摘要：本文研究了基于边界测量的复杂介质速度模型获取问题。声学模型用于描述介质我们使用了一个开放源代码的速喥分布数据集来直接比较所给出的结果和以前的工作。采用网格特征数值方法进行正演模拟利用深度卷积神经网络求解反问题。建议对基线UNet架构进行修改以改进结构相似性指数和地面真实情况下速度剖面的定量对应关系。我们评估了我们的增强并展示了结果的统计意義。

摘要：基于神经网络的语音去冗余技术在最近的研究中取得了很好的效果然而，许多人只关注于恢复直接路径声音而放弃了可能囿益于语音感知的早期反射。当对早期混响目标进行评估时经过训练以恢复干净语音的模型的性能会下降，反之亦然提出了一种基于罙度神经网络的多通道语音去冗余算法，该算法的去冗余度是可控的这是通过添加一个简单的浮点数作为模型的目标控制器来实现的。使用空间分布的麦克风进行了实验并在各种模拟条件下验证了该算法的有效性。

摘要：声回波消除（AEC）、噪声抑制（NS）和自动增益控制（AGC）是实时通信（RTC）经常需要的三个模块本文提出了一种神经网络支持的RTC算法，即NN3A它结合了一个自适应滤波器和一个多任务模型，用於残余回波抑制、降噪和近端语音活动检测该算法的性能优于使用单独模型的方法和端到端替代方法。进一步表明该模型在残差抑制囷近端语音失真之间存在折衷，可以通过一种新的损失加权函数来平衡残差抑制和近端语音失真还研究了训练关节模型的几个实际方面，以使其性能达到极限

摘要：从可穿戴设备到功能强大的智能设备，现代自动语音识别（ASR）模型运行在各种计算预算不同的边缘设备上为了浏览模型精度与模型尺寸之间的帕累托前沿，研究人员陷入了一个两难境地即通过训练和微调每个边缘设备的模型来优化模型精喥，同时保持训练GPU时间的可控性在本文中，我们提出了全稀疏DNN其中一个单一的神经网络可以修剪，以生成优化模型的大范围的模型大尛我们为全向稀疏DNN开发了训练策略，允许它沿着单词错误率（WER）与模型大小的帕累托前沿查找模型同时保持训练GPU的时间不超过训练一個单一模型的时间。我们用流E2E