Cshuangyu+f u c k的中文翻译？

点击联系发帖人 时间：2022-11-18 07:03

f u c k的中文翻译

文本生成目前的一大瓶颈是如何客观，准确的评价机器生成文本的质量。一个好的评价指标（或者设置合理的损失函数）不仅能够高效的指导模型拟合数据分布，还能够客观的让人评估文本生成模型的质量，从而进一步推动text generation 商业化能力。

然而由于语言天生的复杂性和目前技术限制，我们目前还没有一个完美的评价指标。

本文就三方面对文本生成的评价指标介绍：

介绍了以BLEU为代表的基于统计的文本评价指标
基于BERT等预训练模型的文本评价指标

1、机器翻译 & 摘要常用指标

基于词重叠率的方法是指基于词汇的级别计算模型的生成文本和人工的参考文本之间的相似性，比较经典的代表有BLEU、METEOR和ROUGE，其中BLEU和METEOR常用于机器翻译任务，ROUGE常用于自动文本摘要。

BLEU （Bilingual Evaluation Understudy，双语评估辅助工具）可以说是所有评价指标的鼻祖，它的核心思想是比较候选译文和参考译文里的 n-gram 的重合程度，重合程度越高就认为译文质量越高。unigram用于衡量单词翻译的准确性，高阶n-gram用于衡量句子翻译的流畅性。实践中，通常是取N=1~4，然后对进行加权平均。

BP 是惩罚因子，如果译文的长度小于最短的参考译文，则 BP 小于 1。
BLEU 的 1-gram 精确率表示译文忠于原文的程度，而其他 n-gram 表示翻译的流畅程度。

不过BLEU对词重复和短句有着非常不好的表现，所以改进的BLEU分别使用 改进的多元精度（n-gram precision） 和短句惩罚因子进行了优化。

假设机器翻译的译文C和一个参考翻译S1如下：

则可以计算出 1-gram，2-gram，... 的精确率（参考文献里写的是准确率(accuracy),我理解是写错了，此处应该是精确率(precision)）

依次类推(上面的在或者不在, 说的都是当前词组有没有在参考翻译中)。直接这样算, 会存在很大的问题. 例如:

这时候机器翻译的结果明显是不正确的，但是其 1-gram 的 Precision 为1，因此 BLEU 一般会使用修正的方法。给定参考译文S1,S2, ...,Sm，可以计算C里面 n 元组的 Precision，计算公式如下：

上面介绍了 BLEU 计算 n-gram 精确率的方法，但是仍然存在一些问题，当机器翻译的长度比较短时，BLEU 得分也会比较高，但是这个翻译是会损失很多信息的，例如：

因此需要在 BLEU 分数乘上惩罚因子

它的易于计算且速度快，特别是与人工翻译模型的输出对比；
它应用范围广泛，这可以让你很轻松将模型与相同任务的基准作对比。

它不考虑语义，句子结构
不能很好地处理形态丰富的语句（BLEU原文建议大家配备4条翻译参考译文）
BLEU 指标偏向于较短的翻译结果（brevity penalty 没有想象中那么强）

ROUGE大致分为四种（常用的是前两种）：

ROUGE-N （将BLEU的精确率优化为召回率）

ROUGE 用作机器翻译评价指标的初衷是这样的：在 SMT（统计机器翻译）时代，机器翻译效果稀烂，需要同时评价翻译的准确度和流畅度；等到 NMT （神经网络机器翻译）出来以后，神经网络脑补能力极强，翻译出的结果都是通顺的，但是有时候容易瞎翻译。

ROUGE的出现很大程度上是为了解决NMT的漏翻问题（低召回率）。所以 ROUGE 只适合评价 NMT，而不适用于 SMT，因为它不管候选译文流不流畅

“N”指的是N-gram，其计算方式与BLEU类似，只是BLEU基于精确率，而ROUGE基于召回率。

公式的分母是统计在参考译文中 N-gram 的个数，而分子是统计参考译文与机器译文共有的 N-gram 个数。

如果给定多个参考译文 Si，Chin-Yew Lin 也给出了一种计算方法，假设有 M 个译文 S1, ..., SM。ROUGE-N 会分别计算机器译文和这些参考译文的 ROUGE-N 分数，并取其最大值，公式如下。这个方法也可以用于 ROUGE-L，ROUGE-W 和 ROUGE-S。

公式中的 RLCS 表示召回率，而 PLCS 表示精确率，FLCS 就是 ROUGE-L。一般 beta 会设置为很大的数，因此 FLCS 几乎只考虑了 RLCS (即召回率)。注意这里 beta 大，则 F 会更加关注 R，而不是 P，可以看下面的公式。如果 beta 很大，则 PLCS 那一项可以忽略不计。

ROUGE-W 是 ROUGE-L 的改进版，考虑下面的例子，X表示参考译文，而Y1，Y2表示两种机器译文。

在这个例子中，明显 Y1的翻译质量更高，因为 Y1 有更多连续匹配的翻译。但是采用 ROUGE-L 计算得到的分数确实一样的，即 ROUGE-L(X, Y1)=ROUGE-L(X, Y2)。因此作者提出了一种加权最长公共子序列方法 (WLCS)，给连续翻译正确的更高的分数，具体做法可以阅读原论文《ROUGE: A Package for

跳跃二元组是句子中有序的单词对，和LCS类似，在单词对之间，单词可能被跳过。比如一句有4个单词的句子，按照排列组合就可能有6种跳跃二元组。

再次使用精度和召回率来计算F，将句子Sij中跳跃二元组的个数记为

如果你的data to text不涉及复杂的关系抽取，也可以简单的通过匹配方法来验证文本是否能够覆盖要描述的data。

BLEU，ROUGE等评价指标依然是主流的评价方式。

从短句惩罚、重复、重要信息缺失、多样化等方面，衍生出例如METEOR、SPICE、Distinct等评价指标。

以bertscore为代表的评价指标近年来受到广泛的关注，与人工评价的相关性也越来越高。

ACL 2020原定于2020年7月5日至10日在美国华盛顿西雅图举行，因新冠肺炎疫情改为线上会议。为促进学术交流，方便国内师生提早了解自然语言处理（NLP）前沿研究，AI 科技评论将推出「ACL 实验室系列论文解读」内容，同时欢迎更多实验室参与分享，敬请期待！

点击"阅读原文"，直达“ACL 交流小组”了解更多会议信息。

}

涵盖牛津词典、柯林斯高阶词典等55本词书

多端数据云端同步，支持多个设备

拍照语音翻译，支持英法日等7国语音

准确、便捷的查词翻译软件
准确、便捷的查词翻译软件
准确、便捷的查词翻译软件

拨打我们的电话，与经验丰富的销售顾问交流
发邮件至我们的邮箱，我们将尽快为您答疑解惑
了解我们的服务，全面展现协议内容

}

几十年来，统计机器翻译一直是主导的翻译模型[9]，直到神经机器翻译（NMT）的诞生。NMT是一种新兴的机器翻译方法，它试图构建和训练单个的大型神经网络来读取文本并输出翻译[1]。

图//viewspace-2564383/，如需转载，请注明出处，否则将追究法律责任。

}

常信村百科网