• 我的订阅
  • 科技

Meta 发布全新 AI 模型 SeamlessM4T

类别:科技 发布时间:2023-08-22 23:33:00 来源:浅语科技

Facebook的母公司MetaPlatforms今日发布了一种能够翻译和转录数十种语言的人工智能模型——SeamlessM4T,可以让说不同语言的人更有效地进行交流,为开发人类通用语言翻译器提供了助力。

Meta声称,SeamlessM4T将与新的翻译数据集SeamlessAlign一同开源,它代表了人工智能驱动的“语音到语音”和“语音到文本”领域的“重大突破”。

Meta 发布全新 AI 模型 SeamlessM4T

Meta表示,该模型可以在近100种语言之间进行文本到语音的翻译,并支持35种语言的完全语音到语音翻译,而此前要想实现类似的操作只能在单独的AI模型中分别进行翻译。SeamlessM4T支持:

1、近100种语言的语音识别。

2、近100种输入和输出语言的语音到文本翻译。

3、支持近100种输入语言和36种输出语言的语音到语音翻译。

4、支持近100种语言的文本到文本翻译。

5、支持近100种输入语言和35种输出语言的文本到语音翻译。

Meta 发布全新 AI 模型 SeamlessM4T

目前,Meta将以研究许可证的形式向公众免费提供该模型(仅限非商业用途),以便研究人员和开发人员在此基础上开展工作。

据介绍,Meta还将发布SeamlessAlign元数据,这是迄今为止最大的开放多模式翻译数据集,挖掘的语音和文本对齐总计达270000小时。

Meta 发布全新 AI 模型 SeamlessM4T

马克・扎克伯格表示,他坚信这些工具将促进来自全球各地的用户在元宇宙中的互动,这也是他对该公司未来的赌注所在。

他还表示,开放AI生态系统对Meta有利,因为该公司通过有效地将创建面向消费者的工具的任务众包来获得更多收益,而不是通过访问模型来收费。

据称,Meta后续还将把这些翻译和转录方面的AI进展整合到Facebook、Instagram、WhatsApp、Messenger和Threads中。

关于SeamlessM4T模型,Meta研究人员在一份研究论文中表示,他们从“爬取的网页数据的公开可用存储库中”收集了400万小时的“原始音频”,但IT之家没有找到具体是哪个存储库的说明,官方只提到文本数据来自去年创建的数据集,而该数据集来自于维基百科及相关网站提取的内容。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-08-23 05:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...非与启元世界多模态负责人吴昌桥,研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1000+ 星标
2024-09-07 09:44:00
语音克隆达到人类水平,微软全新VALL-E 2模型让DeepFake堪比配音员
【新智元导读】继去年初的第一代VALL-E模型之后,微软最近又上新了VALL-E 2模型,标志着第一个在合成语音稳健性、相似度、自然程度等方面达到人类水平的文本到语音模型。最近,
2024-07-25 09:34:00
Meta推出“AI翻译官”!能翻译和转录近百种语言,已开源
智东西智东西8月23日报道,昨晚,Meta官宣AI大模型SeamlessM4T,该模型可翻译和转录近百种语言。SeamlessM4T能实现近百种语言的自动语音识别
2023-08-24 11:03:00
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...元导读】Meta最近开源了一个7B尺寸的Spirit LM的多模态语言模型,能够理解和生成语音及文本,可以非常自然地在两种模式间转换,不仅能处理基本的语音转文本和文本转语音任
2024-11-23 09:43:00
vivo发布自研大模型,为用户和开发者带来诸多惊喜
...发者大会于10月10日在广东深圳正式召开,vivo发布自研大模型——全新蓝心大模型矩阵,为用户和开发者带来诸多惊喜。在同日举办的人工智能会场上,vivoAI团队分享了在AI领
2024-10-14 01:53:00
Meta发布 AI 模型SeamlessM4T,可转录和翻译近100种语言|钛快讯
...在加紧追赶,以及重新组合其关于语言、对话等领域与大模型相关的研究。去年底之后,Meta陆续发布No Language Left Behind(不留语言)文本到文本的机器翻译模型
2023-08-23 12:01:00
openai语音翻译又出新功能了!
...喜欢的声音。 这项新的语音功能由一个新的文本到语音模型支持,能够在短时间内从纯文本生成与人类相似的音频。团队与专业配音演员合作,为每种声音创设独特的音调。同时,他们使用了自
2023-09-26 14:59:00
亚马逊开发史上最大文本转语音模型
...能研究团队宣布开发了一个据称是史上最大的文本转语音模型,该模型拥有最多的参数,并使用了最大的训练数据集。研究人员已经在arXiv预印本服务器上发表了一篇论文,详细描述了模型的
2024-02-18 12:49:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...【新智元导读】Meta最近开源了多个AI项目,包括图像分割模型SAM 2.1、多模态语言模型Spirit LM、自学评估器和改进的跨语言句子编码器Mexma等
2024-11-28 12:02:00
更多关于科技的资讯: