• 我的订阅
  • 头条热搜
谷歌推出datagemma开放权重语言模型新版本
...ons中的真实世界统计数据,推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型(LLMs)处理数值或统计数据时面临的幻觉难题,精确性至关重要。DataGemma通过两种关键技术:检索交错生成(RIG)和...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...40 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...计算任务,从而减少通信等待时间。(2)效果方面专家权重:MoE 中的专家总数为 N ,每个 token 会选择 topK 个专家参与后续的计算,由于专家容量的限制,每个 token 实际选择到的专家数为 M,M<=K根据对比实验的效果,我们选...……更多
...B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。在模型开发上,星辰语义大模型已与华为昇腾AI基础软硬件完成适配:支持Atlas300Ipro推理卡,具备int8量化能力;支...……更多
开放模型权重被指将导致AI失控,Meta遭举牌抗议
...。与之相反,Meta 的 LLaMA 系列开源模型向公众提供了模型权重,使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重,发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来,...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...k-1正式对外开源开放,用户可直接通过磁链下载基本模型权重和网络架构信息。(图/钛媒体)xAI表示,Grok-1是一个由xAI 2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的3140亿参数的混合专家(MOE)模型,远超OpenAI...……更多
“言出必行”马斯克,全球最大开源模型Grok真的来了
...Grok开源美东时间3月17日,xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示,开源版大模型Grok-1是一个由 xAI 从头开始训练的 3140 亿个参数混合专家模型。据介绍,基础模型基于大量文本数据进行训练,没有针对任何具体...……更多
碾压所有对手?谷歌发布轻量化开源大模型,笔记本电脑就可跑
...Gemma更加轻量化。同时,Gemma依旧保持免费使用,其模型权重也一并开源,并且允许商用。谷歌共发布了两种不同权重规模的模型,分别为Gemma 2B(20亿参数)和Gemma 7B(70亿参数)。每种规模都有预训练和指令微调版本,允许所有...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...态大模型也没有收到太多关注。当时,该版本包含代码和权重,但仅供研究使用,而非商业许可。但随着 Mistral 开源模型备受关注、谷歌 Gemini 即将应用于 Pixel Pro 和 Android,关于本地大模型为小型设备提供支持的讨论越来越多。...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...模型参数量上,规模通常达到数十亿的级别(其中主要是权重)。 这些参数不仅存储成本相当高,推理阶段的计算量也很大。在推理过程中,激活值是输入和权重的乘积,因此权重数量越多,激活值也会越大。因此,我们希望...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...在后训练阶段,苹果对模型进行了压缩和量化,平均每个权重低于4位。量化后的模型通常会有一定程度的质量损失。因此,研发团队并不是直接将量化模型交给应用团队进行功能开发,而是附加了一组参数高效的LoRA适配器来恢...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
...。具体来说,为了支持图像输入,Meta 训练了一组适应器权重(adapter weight),其可将预训练的图像编码器集成到预训练的语言模型中。该适应器由一系列交叉注意层组成,这些层的作用是将图像编码器表征馈送给语言模型。为...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...中文大海捞针测试,同样做到了98%以上的准确率。除模型权重外,该模型的微调训练代码,推理代码等全套工具集也被一并开源,大模型相关开发者可做到“开箱即用”。据IT之家此前报道,周鸿祎曾表示,前段时间大模型行业...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...m但比较遗憾的是,目前在HuggingFace仓库中还没有公开模型权重。英伟达官方博客显示,ESM3将在Nvidia BieNeMo平台提供一个小型开源版本的代码和权重,但仅限于非商业用途。仓库地址:https://huggingface.co/EvolutionaryScale/esm3-s……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...是开放的,但只限于研究和非商业用途。它提供了开放的权重,允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途,必须提前获取 Mistral AI 商业...……更多
MSRA:视觉生成六大技术问题
...分析结果。其次,按照常规配置,对四种损失赋予相同的权重。基于这些假设,可以按以下方式简化重构损失的计算:因此,最小化图像级重构损失的潜在空间表示将是:这不能保证x0+x1+x2+x3比x0+x1+x2更接近arg min X。假设不同深...……更多
火爆全球的AI音频大模型,最新技术细节揭秘
...动音频生成技术的发展和普及。目前,Stable Audio Open模型权重可在机器学习模型平台Hugging Face上获取。Stability AI鼓励声音设计师、音乐家、开发人员以及任何对音频感兴趣的人探索该模型的功能并提供反馈。来源:Stability AI ……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...个全新的模型架构。在图像输入方面,训练了一组适配器权重,将预训练的图像编码器集成到预训练的大语言模型中。具体来说,该适配器:由一系列交叉注意力层组成,负责将图像编码器的表示输入进大语言模型通过在文本-...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮...……更多
苹果AI版iOS首日火爆:聊天秒变高情商,大模型成最强嘴替
...是在此基础之上蒸馏得到。 继续训练时,低质量数据的权重会被降低,并使用数学、代码以及获得授权的高质量数据,对模型能力进行提升。该过程使用了1T tokens的数据,窗口长度也从4096变成了8192。到了下一阶段,窗口长度...……更多
真香!智谱大模型,有了首个免费的API
... 2000 位,先到先得。智谱还将开放 GLM-4-Flash 模型的微调权重下载,很快人们将可以自由选择部署平台。这一系列行动,展示了国内大模型公司在应用层面的独特优势。在大模型技术对标国际先进水平的同时,国内 AI 的先头部队...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...多数 MoE 模型都是闭源的,虽然有些模型公开发布了模型权重,但有关训练数据、代码等的信息却很有限,甚至有些研究没有提供这些信息。由于缺乏开放资源和对研究细节的深入探索,在 MoE 领域无法构建具有成本效益的开源...……更多
马斯克要求OpenAI恢复开源,背后是开源闭源路线之争
...最重要的部分,例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日,马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼,震惊全球科技...……更多
首位AI科学家问世!已独立生成10篇学术论文,还顺手搞了AI审稿人
...领悟”(Grokking)现象,《解锁 Grokking:Transformer模型中权重初始化策略的比较研究》本文首次系统研究了权重初始化对grokking的影响,比较了五种权重初始化策略,以优化神经网络学习动态。结果发现:Xavier初始化在多数任务中...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
...要进行混合精度的矩阵乘法运算(mpGEMM),即用低精度的权重和高精度的激活向量进行计算。然而,现有的系统和硬件并不原生支持这种混合精度的矩阵乘法,因此它们通常需要将低精度的权重转换回高精度,这个过程叫做反量...……更多
70倍极致压缩!大模型的检查点再多也不怕
...信息的稀疏性实现更高的剪枝比例;另一个是将优化器和权重联合起来进行压缩,实现整体的高压缩率。 具体方法1. 检查点残差在训练过程中,当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和,这...……更多
XAI大模型Grok-1已正式开源 但并不是在马斯克说的上周
...,他们的大语言模型Grok-1已正式开源,发布了基本模型的权重和网络架构,有兴趣的用户可通过github.com/xai-org/grok上的指引使用。从xAI在官网公布的消息来看,Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中...……更多
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
...用户可以从 Kaggle、Hugging Face、Vertex AI Model Garden 下载模型权重。用户还可以在 Google AI Studio 中试用其功能。下载权重地址:https://huggingface.co/collections/google/gemma-2-2b-……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...用与初始预训练相同的自监督算法。通常会涉及所有模型权重,并将一部分原始数据与新数据混合。微调微调是以监督方式使用带注释的数据,或使用基于强化学习的技术,来适配预训练语言模型的过程。与预训练相比,微调有...……更多
马斯克旗下人工智能大模型Grok已正式开源
...意味着企业家、程序员、公司和个人现在可以访问 Grok 的权重和文档,从而允许他们将该模型的副本用于各种目的,包括商业应用。Grok-1 是一个由 xAI 从头开始训练的 3140 亿参数混合专家模型,现在可以在其 Github 页面或通过 tor...……更多
更多关于科技的资讯:
智能座舱产业风向在哪?这场芜湖峰会给出答案
大皖新闻讯 12月18日,智能座舱生态链高峰论坛暨芜湖产业峰会在芜湖市鸠江区举办,智能座舱产业链上下游企业精英及合作伙伴齐聚一堂
2025-12-18 22:17:00
鲁网12月17日讯(记者 杜方奇)在工业互联网与安全生产深度融合的背景下,枣庄联通积极响应国家推动制造业智能化、绿色化发展的号召
2025-12-18 10:08:00
dynabook效能之选TECRA A45-M:AMD锐龙芯赋能办公精英
在商务办公的疆场中,一台兼具稳定性能、可靠品质与高效体验的笔记本,是精英们破局攻坚的核心装备。dynabook作为深耕商务领域数十年的专业品牌
2025-12-18 10:08:00
厦门网讯(厦门日报记者 李晓平)昨日,市工信局党组成员、副局长上官峰做客市政府网在线访谈,深入介绍了我市人工智能产业的发展态势
2025-12-18 08:58:00
固安加速“屏”实力出圈
12月10日,固安县汉旗电子科技有限公司员工进行生产数据传输作业。固安县推动显示产业做强做精通过“龙头引领+全链配套+区域协同”三维驱动实现产业向生态集群跨越式发展为县域经济高质量发展注入强劲动能12月10日
2025-12-18 07:56:00
吴俊邑 海南师范大学体育学院摘要:随着素质教育的深入推进,高校体育教学面临着提升教学质量、激发学生运动兴趣的重要任务。趣味化教学模式作为打破传统体育教学枯燥性的有效手段
2025-12-18 06:38:00
崔福荣摘要:进度控制在国际工程项目管理中具有至关重要的作用,直接影响项目的工期、成本和合同履行效率。随着全球化和国际项目的增多
2025-12-18 06:38:00
云路协同杭州日报讯 钱塘区的清晨,吉利钱塘基地焊装车间里数百台机械臂精准舞动,不到两分钟就有一台智能新车下线;桐庐的乡村道路上
2025-12-18 06:53:00
“一人独角兽” 不再遥远!3个月,500份申请,27位“超级个体”入驻杭州日报讯 胡政涛带着一台电脑和他的项目,走进了杭州东站旁的融信中心13层
2025-12-18 06:53:00
发展新质生产力 推进新型工业化中国煤科太原研究院12月17日发布消息,该院自主研发的智能矿用干式除尘系统在宁夏煤业10余个矿井投用
2025-12-18 07:16:00
近日,在江苏常州220千伏淦西变电站与220千伏永和变电站,国网常州供电公司二次检修人员利用自主研发的“变电站站间电流互感器一次通流同步测试仪”
2025-12-17 23:18:00
AI 工具赋能品牌:开启全新增长引擎
因为Deepseek的流行,2025年被称作中国AI智能体元年。在这股AI浪潮之下,许多品牌建设者是既兴奋又焦虑,兴奋的是新变革意味着新机遇
2025-12-17 08:09:00
2025“平安财萌杯”全国总决赛在深落幕,携手11万大学生共赴财商成长之约
近日,2025“平安财萌杯”大学生财经素养大赛全国总决赛在深圳平安金融中心圆满举行。本届大赛自8月启动以来,共吸引了来自清华大学
2025-12-17 08:39:00
鲁网12月16日讯近日,经过数月的精心筹备,建行泰安分行营业部成功举办首场“商叶云贷”专题直播推介会。本次活动精准覆盖全市19000户烟草零售商户
2025-12-17 09:24:00
东南网12月17日报道(福建日报记者 黄星榕)买了乐高等大型积木却没有时间和耐心拼装,想吃家常菜却苦于时间不够、厨艺不精
2025-12-17 14:02:00