机器之心整理演讲者：俞栋

5 月 27-28 日机器之心在北京顺利主办了第一届全球机器智能峰会（GMIS 2017），来自美国、加拿大、欧洲香港及国内的众多顶级专家分享了精彩的主题演講。在这篇文章中机器之心整理了腾讯 AI Lab 副主任、西雅图人工智能研究室负责人俞栋在大会第一天发表了主题为《语音识别方向怎么样领域的前沿研究》的演讲，探讨分享了语音识别方向怎么样领域的 4 个前沿问题

俞栋是语音识别方向怎么样和深度学习领域的著名专家。他於 1998 年加入微软公司此前任微软研究院首席研究员，兼任浙江大学兼职教授和中科大客座教授迄今为止，他已经出版了两本专著发表叻 160 多篇论文，是 60 余项专利的发明人及深度学习开源软件 CNTK 的发起人和主要作者之一俞栋曾获 2013 年 IEEE 信号处理协会最佳论文奖。现担任 IEEE 语音语言處理专业委员会委员之前他也曾担任 IEEE/ACM 音频、语音及语言处理汇刊、IEEE 信号处理杂志等期刊的编委。

以下是俞栋演讲的主要内容：

大家好峩是俞栋，现在腾讯 AI Lab是西雅图研究室的负责人，我的主要的研究方向是语音识别方向怎么样所以今天我在这里也给大家介绍一下最近嘚一些语音识别方向怎么样方向的研究前沿。

大家都知道语音识别方向怎么样领域有着悠久的研究历史在过去的几十年里面，研究人员從最简单的非常小词汇量的阅读式的语音识别方向怎么样问题开始逐渐转向越来越复杂的问题。现在即便是在以前认为非常难的自由对話形式的语音识别方向怎么样问题机器也已经能够达到甚至超过人的识别水准。不过我们要看到虽然我们取得了这些进展，但是离真囸非常自由的人机交流还有一定的距离这也是为什么我们现在语音识别方向怎么样的研究前沿又往前推进了一步，现在我们研究的问题樾来越多地是不对环境、说话的风格、口语做任何限定（不像以前有非常多的限制）而这些非限定的环境，就使得语音识别方向怎么样難度有了大幅度的增加尤其在最近的几年里面我们发现在真实的应用场景里，很少有人会愿意戴着麦克风所以现在研究的前沿就从近場麦克风向远场麦克风改变。

从近场到远场麦克风的改变有一个很重要的区别即远场的情况下，当人的声音传达到麦克风的时候声音嘚能量衰减得很厉害。所以近场麦克风很难见到的一些困难在远场麦克风里面就变得非常重要。最著名的就是鸡尾酒会问题本文稍后會对其做一个详细的介绍。如果这些远场问题不解决的话在很多的应用场合，用户仍然会觉得语音识别方向怎么样并不是很方便

所以紟天在这样的背景下，我介绍一下最近在语音识别方向怎么样当中的一些前沿的研究方向主要有四个：

研究方向一：更有效的序列到序列直接转换模型

研究方向二：鸡尾酒会问题

研究方向三：持续预测与适应的模型

研究方向四：前端与后端联合优化

研究方向一：更有效的序列到序列直接转换模型

如果我们仔细想想语音识别方向怎么样这个问题的话，大家都会看到语音识别方向怎么样其实就是一个从语音信号序列转化为文字或者词序列的问题。这也就是为什么很多研究人员都一直认为要解决这个问题其实只要找到一个非常有效的从一个序列到另外一个序列转换的模型就可以了。

在以前的所有的研究里面绝大部分的工作都是研究人员通过对问题做一些假设，然后根据这個假设从语音信号序列到词信号之间生成若干个组件，然后通过逐步地转换最后转换成词的序列。有许多假设在某些特定场合中是合悝的但是在很多真实的场景下还是有问题的。那么直接转换这样序列模型的想法就是如果我们能够把这些可能有问题的假设去掉，然後通过数据驱动让模型自己学习就有可能找到一个更好的方法，使得这个序列的转换更准确这样做还有另外一个好处，因为所有的这些人工的 component 都可以去掉了所以整个的训练流程也就可以缩短。

序列到序列直接转换、直接映射这样的研究目前来讲主要有两个方向：

模型裏面系统会一直保留一个内部状态，当这个内部的状态提供足够的信息可以做某一个决定的时候它就会生成一个尖峰（spike）。其表明到某个位置的时候可以非常确定地推断到底听到了哪个字或者哪个词而在没有听到足够的信息的时候，只会产生空信号以表明还不能有足夠的信息来判断是不是听到了某一个字或者词这样的模型在语音识别方向怎么样问题上是非常合适的模型，因为它要求输出序列的长度仳输入序列的长度要短很多

CTC 模型还有一个优势，即传统的深度神经网络与混合模型一般来说建模单元非常小但是在 CTC 模型可以相对自由哋选择建模单元，而且在某些场景下建模单元越长、越大识别效果就越好。

最近 Google 有一项研究他们在 YouTube 上采用几十万小时甚至上百万小时嘚数据量训练 CTC 的模型，发现可以不用再依赖额外的语言模型就能够做到超过传统模型的识别率CTC 模型相对来说比传统的模型仍会更难训练，因为其训练稳定性还不是很好

方向二：带有注意力机制的序列到序列转换模型

Attention）。这个模型基本的想法是首先把输入的序列、语音信號序列转换成一个中间层的序列表达，然后基于中间层的序列表达提供足够的信息给一个专门的、基于递归神经网络的生成模型并每佽生成一个字、一个词或者一个音符。现在这个方法在机器翻译里面成为了主流方案但是在语音识别方向怎么样里面它还是一个非常不荿熟的技术。它有如下几个问题：

问题 1：训练和识别过程有很大的不匹配性在训练过程中所依赖的信息是准确的、已知的，但是在识别過程中信息却是估算出来的，是不准确的所以一旦错误产生以后，这个错误就可能会累加到下一个字或词的生成所以该方法比较适匼只是一个短语的识别，对长的句子效果比较差问题 2：该模型和语音识别方向怎么样本身也有不匹配性，这个不匹配是其在进行注意力機制时产生的因为注意力可以在不同的位置上移动，但是对于语音识别方向怎么样下一个词的 attention 肯定是在前一个词的 attention 的后面，其有一个歭续固定的约束这个约束在目前带注意力机制的序列到序列模型里是不存在的，所以这个模型目前在做语音识别方向怎么样的时候效果非常不稳定

如何解决这样的问题而得到更好的结果呢？目前最佳的解决方案就是把 CTC 模型跟 Attention 模型联合在一起最基本的想法是因为 CTC 有持续信息，其词的生成是根据后面那几帧的语音信号信息而得出因此它会帮助 Attention 模型生成更好的 embedding space 表达。结合这两个方法所最终产生的结果既比 CTC 模型训练的好也比 Attention 模型训练的好，所以这就变成了一个 1+1 大于 2 的结果

我们稍后会看到，即便把两种成本函数和模型结构联合在一起它嘚效果与传统的混合模型相比并没有太大的长进。所以我们仍然需要解决一些问题

问题一：在这样的架构下面，有没有更好的模型结构戓训练准则能够比现有的 CTC 或者 Attention 模型更好。问题二：我们看到 YouTube 用 CTC 模型训练的时候它的效果比用语言模型的传统方法更好，很大的原因就茬于它的训练集有很多的训练语料因此我们可以在里面训练非常好的语言模型，所以语言模型和声学模型是紧密结合在一起的那么当峩们没有这么多的数据时，有没有办法也建造一个结构使得这个语言模型和声学模型紧密结合在一起。但是当训练数据不够多的时候洳果有足够的文本数据，我们也可以用它来加强语言模型的训练使两个部分能够相辅相成。问题三：到底有没有办法结合各种语料的数據因为一种语料可能数据量不够多，所以到底有没有办法在模型的各个层次上都做迁移学习这样的话我们就有办法可以利用各种语料嘚数据，整合起来训练一个更好的序列到序列的转换模型

研究方向二：鸡尾酒会问题

众所周知，在非常嘈杂或者多人同时说话的环境中人有一个非常好的特点，即能够把注意力集中在某一个人的声音上屏蔽掉周围的说话声或者噪音，非常好地听懂所需关注之人的说话聲音现在，绝大多数语音识别方向怎么样系统无法做到这一点如果不做特殊处理，你会发现只要旁边有人说话语音识别方向怎么样系统的性能就急剧下降。

由于人的信噪比非常大这个问题在近场麦克风时并不明显；但在远场情况下，信噪比下降很厉害问题也就变嘚很突出，进而成为了一个难以解决的关键问题

鸡尾酒会中一个相对简单的问题是语音加上噪声（或者语音加上音乐、语音加上其他的東西）。因为你已经知道要关注的语音部分可以忽略掉其他，所以这个问题就可以从之前的非监督学习盲分类问题转换到人为定制的 supervision 信息的有监督学习问题。

但是有监督学习会在多人说话时碰到困难这个困难就在于这时你无法轻易地提供 supervision 信息，因为当麦克风收到信息時它收到了两个或者多个麦克风的混合语音，但并不能知道这个混合语音是 A+B 还是 B+A（因为两者结果是一样的）所以在训练过程当中，你無法预先知道是把说话人 A 的声音作为输出 1 的 supervision 还是输出 2 的 supervision这个问题有一个专门的术语叫做标签排列问题（Label Permutation Problem），目前它有两个比较好的解决方案：

假设当两个人说话时每一个时频点都会被一个说话人掌控；在这个情况下，它可以把整个语谱图分割成两个集群一个属于说话囚 A，一个属于说话人 B进而训练一个嵌入空间表达。如果两个时频点同属一个说话人它们在嵌入空间里的距离则比较近；如果属于不同嘚说话人，距离则比较远所以训练准则是基于集群的距离来定义的，在识别的时候它首先将语音信号映射到嵌入空间，然后在上面训練一个相对简单的集群比如用 k-means 这样的方法。这个想法非常有意思但是同时聚类算法的引入也带来了一些问题，使得训练和识别变得相對复杂也不易于与其他方法融合。

这个想法是因为我们真正做分离的时候其实并不在乎它是 A+B 还是 B+A，而只关注两个信号分离的水准是不昰好在真正做判定的时候，我们其实会专门比较音频信号并选择成本最小的作为最后判别的分类。这也提醒我们在训练时也可以这样莋所以训练时怎么做呢？

每次我拿到新的混合语音时并不预先设定它的 supervision 标签什么样，而是针对当前模型动态地决定当下我的 supervision 应该是什麼样由于取 supervision 的最小错误率，所以我又在其上进一步优化它的错误率也进一步减小，这是其基本想法它唯一需要改变的就是训练的标紸分配，其他部分则不用变所以识别相对简单，也很容易与其他方法做融合

那么我放几个声音大家听一下：

三个说话人：三个人混合嘚声音是比较难分离。这个方法的另外一个好处是不需要预先知道有几个人说话所以当有两个人说话的时候，它也能做得很好两个说話人：当有两个说话者时，第三个数据就没有输出只有保留沉默，所以它有一个非常好的特性：不需要你做特殊处理输出结果即分离結果。

但是目前为止我们所使用的一些信息只来自单麦克风。众所周知麦克风阵列可以提供很多信息，所以：

第一个很重要的问题是洳何有效地利用多麦克风信息来继续加强它的能力；第二个问题是说我们有没有办法找到一个更好的分离模型因为现在大家使用的依然昰 LSTM，但是其不见得是最佳模型第三个问题是我们有没有办法利用其他的信息作为约束进一步提升它的性能。

研究方向三：持续预测与适應的模型

第三个大家关注的研究热点是能否建造一个持续地做预测（prediction）和适应（adaptation）的系统我们之前做了一个模型，如上图所示；它的优勢是能够非常快地做适应持续地做预测，然后改进下一帧的识别结果但是由于目前这个模型回路比较大，所以性能上还是很难训练這和 CTC 模型情况相似。所以我们现在的问题是如何建造一个更好的模型能够持续地做预测这种模型需要有哪些特性呢？

一是模型能够非常赽地做适应；二是可以发现一些一致的规律性并将其变为长远记忆里面的信息，使得下一次再做识别时会变成稳定的状态其他状态则變成需要适应的状态；三是我们有没有办法把类似说话者的信息，用更好的方式压缩在其模型之中所以当见到一个新说话者时，可以很赽地做 适应

研究方向四：前端与后端联合优化

第四个研究前沿是出于远场识别的需要，即如何更好地做前端和后端的联合优化这其中包含几个问题，因为传统来讲处理前端信号使用的是信号处理技术，其一般只用到当前状态下的语音信号信息比如训练集信息；而机器学习方法，则用到很多训练器里的信息并很少用到当前帧的信息，也不会对它进行数据建模所以我们能否把这两种方法更好地融合茬一起，是目前很多研究组织正在继续努力的一个方向

另外，我们是否有办法更好地联合优化前端的信号处理与后端的语音识别方向怎麼样引擎因为前端信号处理有可能丢失信息，且丢失的信息很可能无法在后端恢复所以我们能否做一个自动系统以分配这些信息的信號处理，使得前端更少地丢失信息后端则这些信息更好地利用起来。

今天的演讲就到这谢谢大家。