仅两秒延迟!新一代AI语言翻译系统Seamless发布,实现跨语言交流新突破

2023年12月02日 09:12浏览次数:7159次编辑:圣灵科技-小圣

在我们日益互联的世界中,语言差异可能成为沟通的障碍。Seamless作为新一代AI语言翻译系统,通过SeamlessExpressive和SeamlessStreaming模型的首次发布,为实时、跨语言交流带来了全新的突破。

image.png

SeamlessExpressive是专注于语音到语音翻译的表达保留模型,而SeamlessStreaming则是一种流式翻译模型,以约两秒的延迟提供最先进的结果。这两个模型都基于SeamlessM4T v2,这是在8月份发布的基础模型的最新版本,展现了在自动语音识别、语音到文本、文本到语音等方面的性能提升。

image.png

与以往在表达性语音研究方面的努力相比,SeamlessExpressive更加关注韵律的某些未被充分探索的方面,例如语速和节奏停顿,同时保留情感和风格。该模型目前在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中保留了这些元素。


SeamlessStreaming的突破性在于实现了与说不同语言的人实时对话。与传统系统在说话者完成句子后进行翻译不同,SeamlessStreaming在说话者仍在说话时进行翻译,使得对话更接近实时。该模型支持近100种输入输出语言的自动语音识别和语音转文本,以及近100种输入语言和36种输出语言的语音到语音翻译。


除了模型本身,Seamless还在今天发布了metadata、数据和数据对齐工具,旨在帮助研究社区收集更多的翻译数据。这包括SeamlessAlign的扩展元数据,涵盖额外115,000小时的语音和文本对齐,以及SeamlessAlignExpressive的元数据,作为表达性焦点版本的数据集。此外,还提供了mExpresso的翻译文本数据,这是Expresso的多语言平行扩展,以及用于收集更多翻译数据的工具。


Seamless作为新一代AI语言翻译系统,在实现表达保留和流式处理方面取得了重要进展,为跨语言交流提供了更加自然和真实的体验。


来源:快科技


关注圣灵科技公众号,免费获得更多企业互联网发展方案!

圣灵科技公众号二维码.jpg

友情链接: 百度腾讯抖音小红书今日头条企业盟重庆互联网微星球建筑劳务网云人脉圈全民创收网圣灵建站系统圣灵溯源系统圣灵客服系统圣灵人事系统圣灵短视频圣灵传媒圣灵商学院重庆网海南网贵州网云南网广西网甘肃网宁夏网山西网陕西网山东网黑龙江网重庆百科web专家U站网

Copyright @ 2004-2023 cqslkj.cn All Right Reserved @重庆市渝中区圣灵科技信息有限公司 版权所有

渝ICP备16004600号-5 渝公网安备 50010802001399号 电子营业执照

联系方式
023-62897001

77981978
023-62897001
81623110
62891977
微信公众号