- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
比ChatGPT省电10倍 Google研训练AI模型新方法
人工智能为人类带来便利性的同时也对能源造成负担，有数据指出ChatGPT一天用超过50万度电，而每处理5-50个提示就会消耗接近半公升水冷却运算系统，情况令人堪忧。有见及此，Google DeepMind研究团队近日提出一种加快人工智能训练的新方法，使用多模态对比学习与联合范例选择（JEST）能大大减少训练人工智能所需的计算资源和时间，其迭代次数比现在少13倍而运算量也少10倍，成功超越最先进的模型。
根据Google DeepMind研究团队发布的研究报告，数据品质是预训练表现的重要驱动因素。Phi-3、Gemma 2等模型表明，更少但高品质的数据可以实现更强大的性能。若要筛选出高品质的数据，关键是需创建有效的数据渠道。现在大致分为手动管理和基于模型的数据管理方法，但前者成本高且难以扩展，而后者则有望为多模态大规模语言模型（LLM）实现Scaling Law。
研究团队发布的JEST原理简单易懂，模型会从“超级batch”中筛选出“子batch”，能显著提升学习效率。研究数据指出，当过滤90%的数据时，JEST可提升6%性能，而在以运算为代价来最大化训练速度或效率的情况下，JEST相对于可比较的IID训练运行可加速13倍。
研究报告展示JEST数据品质引导的巨大潜力，即使小规模的精选数据集也能指导对更大未经管理的数据集的学习，为人工智能和多模态模型的发展开创新方向。
数据源：Tom's Hardware
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-07-09 21:45:01
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
