• 我的订阅
  • 科技

谷歌推出datagemma开放权重语言模型新版本

类别:科技 发布时间:2024-09-13 20:42:00 来源:浅语科技

谷歌推出datagemma开放权重语言模型新版本

科技公司推出DataGemma模型

谷歌在最新的努力中,基于其数据共享项目DataCommons中的真实世界统计数据,推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型(LLMs)处理数值或统计数据时面临的幻觉难题,精确性至关重要。

DataGemma通过两种关键技术:检索交错生成(RIG)和检索增强生成(RAG),利用可信组织收集的超过2400亿个数据点,提升模型准确性,并确保其输出基于现实世界信息。

RIG技术使模型能够主动查询可信来源并生成回答。当接收到提示词后,DataGemma会识别查询中的统计数据,并从数据共享平台获取准确信息。例如,在回答“全球可再生能源使用量是否增加?”这个问题时,该模型会穿插实时统计数据以保证事实准确性。

RAG技术则确保回答的质量。在生成回答之前,DataGemma会从数据共享平台检索相关信息来进一步提高回复的质量。长上下文窗口由Gemini1.5Pro实现,确保了回答的全面性和清晰度,同时引入了表格和脚注以提供更深层次的上下文。研究团队强调这些技术如何帮助大语言模型判断何时依赖外部数据与内部参数。

谷歌对RIG和RAG的研究仍处于初期阶段,但初步成果令人鼓舞。借助于嵌入现实世界数据的方式,DataGemma模型在处理数值事实和统计查询方面展现出显著提升。

总体而言,这项研究为大语言模型提供了新的思路和方法来处理数值和统计数据问题,并有望推动AI技术领域取得更多突破性进展。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-14 05:45:05

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...40 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型
2024-03-18 11:51:00
王坚院士最新发声:人类已进入计算范式时代,AI将成为科学革命的工具
...在今年的一月份讲出口管制时候,第一次说大语言模型的权重也要进行足够管制,大语言模型的权重对我们来讲就是resource,因为今天我们除了传统意义上的代码以外,其实有很多东西对
2025-02-21 16:11:00
腾讯版Sora发布即开源!130亿参数,模型权重、推理代码全开放
...亿参数,成为目前参数量最大的开源视频生成模型。模型权重、推理代码、模型算法等全部上传GitHub与Hugging Face
2024-12-04 09:50:00
权威AI开源标准1.0版发布:Llama也不算开源
...创建; 用于构建和运行 AI 的完整代码; 训练中的设置和权重,帮助 AI 产生相应的结果。这一定义直接直击 Meta 推动的 Llama 大模型
2024-10-30 09:52:00
开源狂潮让巨头惨败,谷歌内部文件曝光
...们真的有重大的架构改进,以至于无法直接重新使用模型权重,那么我们应该去投资更积极的蒸馏形式,来尽可能多地保留上一代模型的功能。如果我们能够在小模型上快速迭代,那么从长远来看,
2023-05-07 20:36:00
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...计算任务,从而减少通信等待时间。(2)效果方面专家权重:MoE 中的专家总数为 N ,每个 token 会选择 topK 个专家参与后续的计算
2024-09-18 13:36:00
纽约大学教授 Nature 发文:为了科学界的未来
...之下,使用开源LLM,研究人员可以查看模型的内部架构、权重,了解模型是如何运行的,定制代码并指出错误,这些细节包括模型的可调参数和训练模型的数据,社区的参与和监督都有助于让这
2023-05-10 15:10:00
...B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本
2024-01-14 09:52:00
开放模型权重被指将导致AI失控,Meta遭举牌抗议
...。与之相反,Meta 的 LLaMA 系列开源模型向公众提供了模型权重,使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型
2023-10-08 18:12:00
更多关于科技的资讯: