首页 科技内容详情
Meta 示范新 AI 语音翻译系统,直转闽南语和英语对话、祖克柏也能与讲台语的员工对话

Meta 示范新 AI 语音翻译系统,直转闽南语和英语对话、祖克柏也能与讲台语的员工对话

分类:科技

网址:

SEO查询: 爱站网 站长工具

点击直达

登1登2登3皇冠www.hg108.vip)实时更新发布最新最快最有效的登1登2登3代理网址,包括新2登1登2登3代理手机网址,新2登1登2登3代理备用网址,皇冠登1登2登3代理最新网址,新2登1登2登3代理足球网址,新2网址大全。

,

Meta 执行长祖克柏昨天在 Facebook 上贴出一段英语与闽南语 AI 口译翻译对话的影片,并表示目前正在开发 AI 口语翻译系统,让主要用于口说而非书写的语言(例如闽南语)可以被翻译。

 

与祖克柏对话的这名员工,是来自台湾的 Meta AI 研究员陈鹏仁,从小在台湾长大讲的是一般的中文,但是他爸爸讲的是台语,他表示能明显感受到语言障碍影响沟通的能力,因此希望能改善这个问题。

为开发这个只有语音的全新翻译系统,Meta AI 研究人员必须克服许多来自传统机器翻译系统的挑战,包括资料蒐集、模型设计,以及准确度评估。在将 UST 扩展至更多语言之前,Meta 还有很多工作要做。

但能够轻松地与使用任何语言的人们沟通的能力,是 Meta 长久以来追寻的梦想,因此 Meta 很高兴能向这个目标更迈进了一步。Meta 不只会开放闽南语翻译模型的原始码,也会公开评估资料集和研究报告,让他人能够重制并以 Meta 的工作成果为基础建立模型。

「我希望我爸跟所有人沟通时,都用台语,这是他最熟悉的语言。」Meta AI研究员陈鹏仁分享,「他听得懂中文,但若是讨论比较复杂的主题时,他说话的速度会比较慢。」

Meta 今日发出新闻稿表示,截至目前为止 AI 翻译主要着重于各种书写语言,但在全球超过 7,000 种的现存语言中,将近半数主要是以口语表达,没有标准或广泛使用的书写文字系统,导致 AI 无法使用标准技术为这类以口语为主的语言打造机器翻译工具。

为了克服这个挑战,Meta 以「闽南语」这项以口语为主的语言打造了人工智慧技术翻译系统,让使用闽南语口说的人可以直接和使用英语口说的人对话。

 

该开放原始码的翻译系统是 Meta Universal Speech Translator(UST,或译:通用语音翻译工具)专案的一部分,该专案致力于开发新的 AI 方法,希望最终能为所有现存语言进行即时语音翻译,包括主要以口语表达的语言。

 

克服训练资料的挑战

在着手打造闽南语翻译系统时,面临的一个重大障碍就是是否能够蒐集到足够的资料。

闽南语是所谓的资源匮乏语言,这意味着与西班牙文或英文等语言相比,该语言尚未有足够的训练资料,此外,将英语翻译成闽南语的翻译人员相对来说很少,因此更难以蒐集资料并加上注解来训练模型。

Meta 利用中文作为中间语言,以建立伪标签和人工翻译,意思是 Meta 先将英语(或闽南语)语音翻译成中文文字,接着再翻译成闽南语(或英语),然后新增至训练资料中。此方法利用了资源充足的相似语言的资料,借此大幅改善了模型成效。

另一个产生训练资料的作法是语音探勘,Meta 使用预先训练好的语音编码器,便能透过编码方式将闽南语语音嵌入内容加入到其他语言的相同语意空间中,而无须取得闽南语的书写文字。闽南语语音可以和拥有相似语意嵌入内容的英语语音和文字配对,接着从文字来合成英文语音,产生平行的闽南语和英语语音。

全新的模型作法

许多语音翻译系统依赖转译内容,或依赖语音转文字系统,但由于主要以口语表达的语言并没有标准书写文字形式,因此 Meta 就无法将翻译的文字制作成翻译内容输出,因此在这个模型中,Meta 聚焦于语音转语音翻译。

Meta 使用语音转单元翻译(speech-to-unit translation,S2UT)系统,直接在先前由 Meta 开创的路径中,将输入的语音翻译成一系列声学单元,然后从这些单元中生成波形。此外,针对二次解码机制采用 UnitY,让第一阶段的解码器产生相关语言(中文)的文字,然后让第二阶段的解码器制作单元。

评估准确度

语音翻译系统通常会使用称为 ASR-BLEU 的衡量指标来评估,首先需使用自动语音识别系统(ASR)将翻译后的语音转译成文字,然后将转译后的文字与人工翻译的文字比较,以计算 BLEU 分数(标准机器翻译衡量指标)。

但评估主要以口语表达的语言(例如闽南语)时,评估语音翻译的挑战之一就是没有标准的书写文字系统,为启动自动评估程序,我们开发了称为 Tâi-lô 的系统(Tâi-lô,台罗),将闽南语语音转译成标准化的拼音符号。这项技术让 Meta 能以音节为单位计算 BLEU 分数,并能够很容易地比较不同方法下的翻译品质。

除了开发方法以评估闽南语与英语语音翻译的准确度,Meta 也根据名为 Taiwanese Across Taiwan 的闽南语语音语料库,建立第一个闽南语与英语双向的语音翻译基准资料集。Meta 将开放此基准资料集的原始码,以鼓励其他研究人员合作进行闽南语语音翻译,并一同在该领域中取得进一步进展。

展望翻译的未来

在目前的阶段中,Meta 的作法能够让使用闽南语的人士与使用英语的人士对话。虽然该模型仍在开发中,而且每次只能翻译一个完整句子,但已朝着未来实现为各种语言提供同步翻译的目标迈开一步。

Meta 首创用于闽南语的各项技术,可以扩展至许多其他有书写系统和无书写系统的语言。为此,Meta 将发布 SpeechMatrix(暂译语音矩阵),这是由 Meta 的创新资料探勘技术支援的大型语音翻译语料库,称为 LASER,能让研究人员建立自己的语音翻译(S2ST)系统,并以 Meta 的工作成果为基础,展开研究及开发工作。

 

此外,Meta 在非监督方式语音识别技术(wav2vec-U)与非监督方式机器翻译(mBART)上的最新进展,将有助于未来能翻译更多口说语言的工作。随着在非监督学习上的进展,Meta 证明了在没有人工注解下建立高品质的语音转语音翻译模型的可行性。这将大幅降低往后扩展至低资源语言的条件,因为其中大部分的语言都没有获得标记的资料。

 

 

Facebook LINE
 当前暂无评论,快来抢沙发吧~

发布评论