- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
研究：网络充斥低质机翻内容，大语言模型训练需警惕数据陷阱
2024-02-04 10:57:47 作者：姚立伟
2月4日消息，研究人员发现网络上的大量内容都经过机器翻译（MT）的处理，且翻译质量普遍较低。这一现象引发了对训练大型语言模型时数据来源考量的重要性的关注。
研究团队开发了一项名为“多维cc矩阵”（MWccMatrix）的庞大资源来更深入地理解机器翻译内容的特征。该资源包含90种语言中64亿个独特的句子，并包括各种翻译元组，即相互之间进行翻译的一组句子。
研究结果显示，大部分网络内容都被翻译成多种语言，主要通过机器翻译完成。这种现象不仅仅在资源相对较少的语言的翻译中存在，而且这些语言的所有网络内容中也占很大一部分。
研究人员还注意到，在广告等目的的驱使下，被翻译成多种语言的内容可能存在选择性偏差。他们得出的结论是：“虽然在过去十年里机器翻译技术取得了显著进步，但仍然无法达到人类水平的质量标准。多年来，使用当时可用的机器翻译系统将机器翻译内容添加到网络上，因此网络上大部分机器翻译内容按现代标准来看可能质量很低。这可能会导致LLM模型产生更多‘幻觉’ ，而选择偏差表明即使不考虑机器翻译错误，数据质量也可能较低。数据质量对于LLM训练至关重要，其中高质量语料库如书籍和维基百科文章通常会进行多次向上采样。” 返回搜狐，查看更多
责任编辑：
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-02-04 18:45:12
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
