• 我的订阅
  • 头条热搜
开放模型权重被指将导致AI失控,Meta遭举牌抗议
...。与之相反,Meta 的 LLaMA 系列开源模型向公众提供了模型权重,使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重,发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来,...……更多
谷歌推出datagemma开放权重语言模型新版本
...ons中的真实世界统计数据,推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型(LLMs)处理数值或统计数据时面临的幻觉难题,精确性至关重要。DataGemma通过两种关键技术:检索交错生成(RIG)和...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...40 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不...……更多
腾讯版Sora发布即开源!130亿参数,模型权重、推理代码全开放
...亿参数,成为目前参数量最大的开源视频生成模型。模型权重、推理代码、模型算法等全部上传GitHub与Hugging Face,一点没藏着。实际效果如何呢?目前该模型已上线腾讯元宝APP,用户可在AI应用中的“AI视频”板块申请试用。API...……更多
权威AI开源标准1.0版发布:Llama也不算开源
...创建; 用于构建和运行 AI 的完整代码; 训练中的设置和权重,帮助 AI 产生相应的结果。这一定义直接直击 Meta 推动的 Llama 大模型。虽然在生成式 AI 领域里,Llama 一直被广泛宣传为最大的开源 AI 模型,Llama 的使用条款中支持...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...计算任务,从而减少通信等待时间。(2)效果方面专家权重:MoE 中的专家总数为 N ,每个 token 会选择 topK 个专家参与后续的计算,由于专家容量的限制,每个 token 实际选择到的专家数为 M,M<=K根据对比实验的效果,我们选...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...模型参数量上,规模通常达到数十亿的级别(其中主要是权重)。 这些参数不仅存储成本相当高,推理阶段的计算量也很大。在推理过程中,激活值是输入和权重的乘积,因此权重数量越多,激活值也会越大。因此,我们希望...……更多
70倍极致压缩!大模型的检查点再多也不怕
...信息的稀疏性实现更高的剪枝比例;另一个是将优化器和权重联合起来进行压缩,实现整体的高压缩率。 具体方法1. 检查点残差在训练过程中,当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和,这...……更多
AI监管和开放,到底如何平衡?
...的专家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。研究人员安排了一场黑客马拉松,17名参与者扮演生物...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...token过程中,由于模型首次加载,会在内存中存放全部的权重参数,以及KV Cache等数据。这是模型参数本身所占内存空间的2-3倍。对于千亿参数模型来说,大量的参数和数据输入,需要在强大计算单元中处理。对此,它需要支持...……更多
科学家研发自动驾驶新模块,让自动驾驶场景理解更接近人类认知
...驶员注意区域,他们将其作为一个掩码来调整原始图像的权重,从而使自动驾驶车辆能够像经验丰富的人类驾驶员一样,具备有效定位和预测潜在风险因素的能力。预测驾驶员视觉注视区域的引入,不仅为下游决策任务提供更具...……更多
“言出必行”马斯克,全球最大开源模型Grok真的来了
...Grok开源美东时间3月17日,xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示,开源版大模型Grok-1是一个由 xAI 从头开始训练的 3140 亿个参数混合专家模型。据介绍,基础模型基于大量文本数据进行训练,没有针对任何具体...……更多
对着3个中国AI大模型,两个美国科技界大佬深聊了半小时
...非常好,而真正有意思的一点是DeepSeek称他们会开源模型权重,或者公开发布模型权重。希望在接下来的一周到两周内,我们能够看到该模型权重,并开始上手使用它。同时,我认为这其中还有另一个有意思的现象,那就是开源...……更多
碾压所有对手?谷歌发布轻量化开源大模型,笔记本电脑就可跑
...Gemma更加轻量化。同时,Gemma依旧保持免费使用,其模型权重也一并开源,并且允许商用。谷歌共发布了两种不同权重规模的模型,分别为Gemma 2B(20亿参数)和Gemma 7B(70亿参数)。每种规模都有预训练和指令微调版本,允许所有...……更多
马斯克要求OpenAI恢复开源,背后是开源闭源路线之争
...最重要的部分,例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日,马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼,震惊全球科技...……更多
基于DolphinDB的高性能Barra风控模型
...接口函数为getPredicOut,实现脚本请联系小助手。 组合权重优化 组合权重优化的目的在于将组合的风险特征完全定量化,使得投资经理可以清楚地了解组合的收益来源和风险暴露。权重优化的目标函数,优化目标多种多样,例...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
...ECE借鉴了已有的方法UCE,通过解析解来编辑交叉注意力的权重,一步到位,避免繁琐微调。给定“源”概念(例如,“裸露”),“目标”概念(例如,空文本“ ”),以及交叉注意力的K/V投影矩阵,UCE的目标是找到新权重,...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...在后训练阶段,苹果对模型进行了压缩和量化,平均每个权重低于4位。量化后的模型通常会有一定程度的质量损失。因此,研发团队并不是直接将量化模型交给应用团队进行功能开发,而是附加了一组参数高效的LoRA适配器来恢...……更多
量化能让大模型“恢复记忆”,删掉的隐私版权内容全回来了
...量化过程中,模型参数的微小变化可能导致量化后的模型权重与原始模型权重相同。看到这项研究后,不少网友也表示有点意外:从信息理论的角度来看这有点出人意料,似乎已经在完整的32-bit中成功移除了这些知识,但当你将...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
...的吞吐。△图1 MixQ吞吐与已有开源工作比较MixQ同时量化权重和激活,使用低精度张量核心(INT8/INT4 Tensor Core)实现推理加速;同时,MixQ提取激活中少量的离群值,使用高精度张量核心(FP16 Tensor Core)保持推理准确性,通过系统...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...k-1正式对外开源开放,用户可直接通过磁链下载基本模型权重和网络架构信息。(图/钛媒体)xAI表示,Grok-1是一个由xAI 2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的3140亿参数的混合专家(MOE)模型,远超OpenAI...……更多
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
...用户可以从 Kaggle、Hugging Face、Vertex AI Model Garden 下载模型权重。用户还可以在 Google AI Studio 中试用其功能。下载权重地址:https://huggingface.co/collections/google/gemma-2-2b-……更多
算力直降97%,GPT-3存储只用20MB?!这篇新论文火了
...入了1-bit的LLM变体(即BitNet b1.58),其中LLM的每个参数或权重都是三元的{-1, 0, 1}。它在困惑度(perplexity)和最终任务性能上与全精度(FP16或BF16)的Transformer LLM相匹配,同时在延迟、存储、吞吐量和算力消耗方面成本更低。然而...……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...是开放的,但只限于研究和非商业用途。它提供了开放的权重,允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途,必须提前获取 Mistral AI 商业...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...型要复杂很多,它可以开源的包括模型训练源代码、参数权重、训练数据等。但目前模型厂商通常仅仅开源参数权重,而训练源代码、训练数据等均未开源,这就导致开发者无法去改进它,也就无法对开源模型的效果做贡献。比...……更多
MSRA:视觉生成六大技术问题
...分析结果。其次,按照常规配置,对四种损失赋予相同的权重。基于这些假设,可以按以下方式简化重构损失的计算:因此,最小化图像级重构损失的潜在空间表示将是:这不能保证x0+x1+x2+x3比x0+x1+x2更接近arg min X。假设不同深...……更多
秒变3D模型,AI游戏或被颠覆,AI人工智能ETF(512930)连续3天获资金净流入
...,截至2024年8月30日,中证人工智能主题指数(930713)前十大权重股分别为海康威视(002415)、中际旭创(300308)、韦尔股份(603501)、新易盛(300502)、科大讯飞(002230)、中科曙光(603019)、寒武纪(688256)、澜起科技(688008)、紫光股份……更多
...B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。在模型开发上,星辰语义大模型已与华为昇腾AI基础软硬件完成适配:支持Atlas300Ipro推理卡,具备int8量化能力;支...……更多
海康威视申请分类模型相关专利,提高人员分类结果的准确性
...每一神经网络层, 计算预设损失函数在该神经网络层的权重矩阵处的梯度;基于 梯度,计算该神经网络层的当前动量和当前方差;基于梯度、当 前动量、当前方差、预设学习率以及预设权重衰减系数,更新该 神经网络层的权...……更多
更多关于科技的资讯:
在制造业提质增效的浪潮中,那些藏在生产环节里的“细枝末节”,往往藏着撬动效益升级的关键密码。近日,太重包储分公司的散件箱优化项目传来捷报
2025-09-24 07:52:00
被3000亿资金哄抢的创新药企,上市首日暴涨110%
文|胡香赟编辑|海若镜港股迎来今年第11家上市的创新药公司。9月19日,劲方医药在港交所挂牌,首日涨幅接近110%、市值逼近150亿
2025-09-24 06:26:00
2025北京文化论坛“虚实无界:视听产业融合破圈”平行论坛举办
中国青年报客户端北京9月23日电(中青报·中青网记者 沈杰群)今天,2025北京文化论坛平行论坛——“虚实无界:视听产业融合破圈”在北京国际饭店会议中心举行
2025-09-24 00:03:00
中信银行南京分行成功举办“小天元”企业生态服务平台江苏区域发布会
9月22日下午,在百余家江苏企业代表的共同见证下,中信银行“小天元”企业生态服务平台江苏区域发布会暨“进万企 信服惠企”系列活动在南京成功举办
2025-09-23 23:15:00
聚焦京津冀协同发展|一个平台,推动黄骅模具迈向高端
北京市科学技术委员会牵头,京冀相关单位共建智能模具科技成果转化中试平台一个平台,推动黄骅模具迈向高端9月11日,智能模具科技成果转化中试平台工作人员正在操作四轴机床进行生产
2025-09-23 08:49:00
AI赋能千行百业一线故事(十二):数智化转型,让电厂越来越智慧
数智化转型,让电厂越来越智慧——AI赋能千行百业一线故事(十二)8月28日,石家庄良村热电有限公司生产技术部专业主管苏朝宏介绍智慧展厅
2025-09-23 08:53:00
“产业炬光灯”系列短视频首期聚焦中材航特
“产业炬光灯”系列短视频于厦门日报官方视频号、抖音号、快手号、B站账号、央视频账号等全媒体平台同步上线,首期节目走进中材航特
2025-09-23 08:58:00
厦门网讯(厦门日报记者 林雯)旧低效工业用地加速变身科创高地。近日,随着位于思明区前埔片区的2025P13、2025P14地块成功出让
2025-09-23 08:58:00
国网厦门供电公司持续推进“EASIER用电”品牌建设
国网厦门供电公司为厦门天马微电子有限公司创造更优质、更稳定的用电环境。(国网厦门供电公司 供图)“EASIER用电”品牌厦门网讯(厦门日报记者 刘艳 通讯员 林艳婷 高芳 郭芷祎)近年来
2025-09-23 08:58:00
山东移动泰安分公司数智融合加速 赋能企业蝶变升级
鲁网9月22日讯数字化浪潮正在席卷千行百业,山东移动泰安分公司(简称:泰安移动)以“技术赋能、生态协同、梯次服务”为核心
2025-09-23 10:01:00
企鹅网络(Q学友)与腾讯云达成战略合作,携手共创“AI+职业教培”新范式
9月16日-17日,2025腾讯全球数字生态大会在深圳举办。大会期间,深圳市企鹅网络科技有限公司(以下简称“企鹅网络”)与腾讯云正式签署战略合作协议
2025-09-23 10:39:00
本报记者 赵 曦 □ 花沁昕“白天的时间都用于工作和社交,只有夜晚的时间才真正属于自己,我舍不得睡,但真想睡的时候又睡不着了
2025-09-23 10:48:00
科学为基,爱心为桥:儿童营养品牌inne携手德甲冠军俱乐部启动全球公益计划
在全民健康意识提高与消费升级的双重驱动下,新一代父母对儿童营养的重视程度前所未有。消费需求愈发细分、专业,推动儿童营养品行业从“标准化供给”向“专业化服务”转变
2025-09-23 11:20:00
《金刚狼》《权游》供应商分拆机器人数据业务,腾讯、字节大牛加入 | 智能涌现独家
文|邱晓芬编辑|苏建勋2023年底,全球出货量最大的动作捕捉设备提供商"诺亦腾(Noitom)"联合创始人戴若犁,一度以为自己被骗了
2025-09-23 20:47:00
近8成职场人每周都会使用AI工具 通用对话型AI占比最高
在人工智能技术日臻成熟的2025年,AI已不再是科幻概念或实验室产物,而是深度融入职场生态的“数字同事”。从“工具”走向“伙伴”
2025-09-23 11:37:00