• 我的订阅
  • 头条热搜
开放模型权重被指将导致AI失控,Meta遭举牌抗议
...。与之相反,Meta 的 LLaMA 系列开源模型向公众提供了模型权重,使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重,发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来,...……更多
谷歌推出datagemma开放权重语言模型新版本
...ons中的真实世界统计数据,推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型(LLMs)处理数值或统计数据时面临的幻觉难题,精确性至关重要。DataGemma通过两种关键技术:检索交错生成(RIG)和...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...40 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不...……更多
只需这4步 华为ModelEngine支持DeepSeek全系列本地部署
...部署模型1、登录ModelEngine模型管理页面,上传DeepSeek-R1 FP8权重,然后进行模型权重格式转换,将FP8精度模型权重转换为BF16精度模型权重;2、在模型服务页面,选择BF16精度的模型权重版本,下发推理服务,启动任务部署;3、Model...……更多
腾讯版Sora发布即开源!130亿参数,模型权重、推理代码全开放
...亿参数,成为目前参数量最大的开源视频生成模型。模型权重、推理代码、模型算法等全部上传GitHub与Hugging Face,一点没藏着。实际效果如何呢?目前该模型已上线腾讯元宝APP,用户可在AI应用中的“AI视频”板块申请试用。API...……更多
权威AI开源标准1.0版发布:Llama也不算开源
...创建; 用于构建和运行 AI 的完整代码; 训练中的设置和权重,帮助 AI 产生相应的结果。这一定义直接直击 Meta 推动的 Llama 大模型。虽然在生成式 AI 领域里,Llama 一直被广泛宣传为最大的开源 AI 模型,Llama 的使用条款中支持...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...计算任务,从而减少通信等待时间。(2)效果方面专家权重:MoE 中的专家总数为 N ,每个 token 会选择 topK 个专家参与后续的计算,由于专家容量的限制,每个 token 实际选择到的专家数为 M,M<=K根据对比实验的效果,我们选...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮...……更多
王坚院士最新发声:人类已进入计算范式时代,AI将成为科学革命的工具
...在今年的一月份讲出口管制时候,第一次说大语言模型的权重也要进行足够管制,大语言模型的权重对我们来讲就是resource,因为今天我们除了传统意义上的代码以外,其实有很多东西对科技创新有帮助,不只是对产业,所以我...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...模型参数量上,规模通常达到数十亿的级别(其中主要是权重)。 这些参数不仅存储成本相当高,推理阶段的计算量也很大。在推理过程中,激活值是输入和权重的乘积,因此权重数量越多,激活值也会越大。因此,我们希望...……更多
70倍极致压缩!大模型的检查点再多也不怕
...信息的稀疏性实现更高的剪枝比例;另一个是将优化器和权重联合起来进行压缩,实现整体的高压缩率。 具体方法1. 检查点残差在训练过程中,当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和,这...……更多
AI监管和开放,到底如何平衡?
...的专家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。研究人员安排了一场黑客马拉松,17名参与者扮演生物...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...token过程中,由于模型首次加载,会在内存中存放全部的权重参数,以及KV Cache等数据。这是模型参数本身所占内存空间的2-3倍。对于千亿参数模型来说,大量的参数和数据输入,需要在强大计算单元中处理。对此,它需要支持...……更多
科学家研发自动驾驶新模块,让自动驾驶场景理解更接近人类认知
...驶员注意区域,他们将其作为一个掩码来调整原始图像的权重,从而使自动驾驶车辆能够像经验丰富的人类驾驶员一样,具备有效定位和预测潜在风险因素的能力。预测驾驶员视觉注视区域的引入,不仅为下游决策任务提供更具...……更多
对着3个中国AI大模型,两个美国科技界大佬深聊了半小时
...非常好,而真正有意思的一点是DeepSeek称他们会开源模型权重,或者公开发布模型权重。希望在接下来的一周到两周内,我们能够看到该模型权重,并开始上手使用它。同时,我认为这其中还有另一个有意思的现象,那就是开源...……更多
“言出必行”马斯克,全球最大开源模型Grok真的来了
...Grok开源美东时间3月17日,xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示,开源版大模型Grok-1是一个由 xAI 从头开始训练的 3140 亿个参数混合专家模型。据介绍,基础模型基于大量文本数据进行训练,没有针对任何具体...……更多
碾压所有对手?谷歌发布轻量化开源大模型,笔记本电脑就可跑
...Gemma更加轻量化。同时,Gemma依旧保持免费使用,其模型权重也一并开源,并且允许商用。谷歌共发布了两种不同权重规模的模型,分别为Gemma 2B(20亿参数)和Gemma 7B(70亿参数)。每种规模都有预训练和指令微调版本,允许所有...……更多
马斯克要求OpenAI恢复开源,背后是开源闭源路线之争
...最重要的部分,例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日,马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼,震惊全球科技...……更多
基于DolphinDB的高性能Barra风控模型
...接口函数为getPredicOut,实现脚本请联系小助手。 组合权重优化 组合权重优化的目的在于将组合的风险特征完全定量化,使得投资经理可以清楚地了解组合的收益来源和风险暴露。权重优化的目标函数,优化目标多种多样,例...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
...ECE借鉴了已有的方法UCE,通过解析解来编辑交叉注意力的权重,一步到位,避免繁琐微调。给定“源”概念(例如,“裸露”),“目标”概念(例如,空文本“ ”),以及交叉注意力的K/V投影矩阵,UCE的目标是找到新权重,...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...在后训练阶段,苹果对模型进行了压缩和量化,平均每个权重低于4位。量化后的模型通常会有一定程度的质量损失。因此,研发团队并不是直接将量化模型交给应用团队进行功能开发,而是附加了一组参数高效的LoRA适配器来恢...……更多
量化能让大模型“恢复记忆”,删掉的隐私版权内容全回来了
...量化过程中,模型参数的微小变化可能导致量化后的模型权重与原始模型权重相同。看到这项研究后,不少网友也表示有点意外:从信息理论的角度来看这有点出人意料,似乎已经在完整的32-bit中成功移除了这些知识,但当你将...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
...的吞吐。△图1 MixQ吞吐与已有开源工作比较MixQ同时量化权重和激活,使用低精度张量核心(INT8/INT4 Tensor Core)实现推理加速;同时,MixQ提取激活中少量的离群值,使用高精度张量核心(FP16 Tensor Core)保持推理准确性,通过系统...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...k-1正式对外开源开放,用户可直接通过磁链下载基本模型权重和网络架构信息。(图/钛媒体)xAI表示,Grok-1是一个由xAI 2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的3140亿参数的混合专家(MOE)模型,远超OpenAI...……更多
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
...用户可以从 Kaggle、Hugging Face、Vertex AI Model Garden 下载模型权重。用户还可以在 Google AI Studio 中试用其功能。下载权重地址:https://huggingface.co/collections/google/gemma-2-2b-……更多
算力直降97%,GPT-3存储只用20MB?!这篇新论文火了
...入了1-bit的LLM变体(即BitNet b1.58),其中LLM的每个参数或权重都是三元的{-1, 0, 1}。它在困惑度(perplexity)和最终任务性能上与全精度(FP16或BF16)的Transformer LLM相匹配,同时在延迟、存储、吞吐量和算力消耗方面成本更低。然而...……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...是开放的,但只限于研究和非商业用途。它提供了开放的权重,允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途,必须提前获取 Mistral AI 商业...……更多
谷歌 AI 绘画 4 大牛携手创业,天使估值 7 个亿
...级超采样。依赖于新的采样技术,Imagen允许使用大的引导权重,所以不会像原有工作一样使样本质量下降。这么一来,图像具有更高的保真度,并且能更好地完成图像-文本对齐。 概念说起来简单,但Imagen的效果还是令人大为震...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...型要复杂很多,它可以开源的包括模型训练源代码、参数权重、训练数据等。但目前模型厂商通常仅仅开源参数权重,而训练源代码、训练数据等均未开源,这就导致开发者无法去改进它,也就无法对开源模型的效果做贡献。比...……更多
中国银保监会、中国人民银行有关部门负责人就《商业银行资本管理办法(征求意见稿)》答记者问
...。二、本次修订的原则是什么?一是坚持风险为本。风险权重是维护资本监管审慎性的基石。风险权重的设定应客观体现表内外业务的风险实质,使资本充足率准确反映银行整体风险水平和持续经营能力。二是强调同质同类比较...……更多
更多关于科技的资讯:
近日,极兔速递发布了2024年全年业绩报告,公司在全球市场实现规模与盈利双突破。财报显示,2024年,极兔在全球范围内累计处理包裹数量达到246
2025-03-12 19:09:00
年轻人不买账,短剧干脆免费了
图片为《好一个乖乖女》剧照出品 | 搜狐科技作者 | 张莹编辑 | 杨锦商业类畅销书作者克里斯・安德森,曾提出一种免费的经济理论
2025-03-12 19:17:00
“嗅觉经济”逆势爆发,国际大牌扎堆撒钱,国货欲靠东方美学破圈
期待一场“东方香调”的复兴。 全球美妆行业正经历寒冬,香水市场却逆势崛起,成了“嗅觉经济”核心赛道。艾媒咨询数据显示,2023年中国香水市场规模达207亿元
2025-03-12 20:09:00
近日,荣昌区税务局开展“2024年度个人所得税综合所得汇算清缴要点”直播活动,通过线上“零距离”互动,为纳税人解答政策疑问
2025-03-12 20:11:00
深度数科:以专业筑基,引领票据服务生态革新
在数字化转型浪潮席卷金融领域的当下,深度数科集团凭借其对票据业务的深刻理解与技术创新的双重驱动,持续巩固行业领军地位,为票据服务生态的升级注入专业力量
2025-03-12 20:14:00
吉利被“硅谷教父”皮埃罗赞誉为一家人工智能领域的公司
近日,一则来自外网的资讯显示,硅谷AI界的领航人物、硅谷人工智能研究院院长、斯坦福大学顶级AI学者、“硅谷教父”皮埃罗·斯加鲁菲(PieroScaruffi)在“AI在全球出行领域的变革研讨”活动中
2025-03-12 20:31:00
2025年2月28日-3月1日,由中国会展经济研究会指导,首都会展(集团)有限公司和31会议联合主办的第八届2025中国会展业数字化与创新大会(CEIDIC2025)将于北京北辰五洲皇冠国际酒店盛大开幕
2025-03-12 20:32:00
新年换机首选华硕a豆14 Air高颜值AI PC 国家补贴至高立减20%
新年临近,假期就在眼前啦!京东年货节也在火热进行中,想趁此机会入手一台新笔记本电脑的小伙伴们看过来,推荐种草这款华硕a豆14Air
2025-03-12 20:33:00
\
近日,硅谷AI领域的顶尖学者、硅谷人工智能研究院院长皮埃罗·斯加鲁菲(PieroScaruffi)在“AI重塑全球出行未来”研讨会上
2025-03-12 20:34:00
北京十大律师事务所精品推荐:实力与服务兼备的诉讼专家
在法律服务的众多领域中,诉讼业务以其复杂性和高难度著称。选择一家优秀的律师事务所,尤其是在涉及诉讼案件时,能够直接影响案件的最终结果
2025-03-12 20:37:00
首款原生鸿蒙正式版手机将发布,鸿蒙生态「朋友圈」如何走向正循环?
“原生鸿蒙正式版,就要来了!” 3月12日,华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东语带激动地说
2025-03-12 23:05:00
谷子火了?从小红书烧起来的二次元“烫门”
你了解谷子吗?谷子,即轻度周边,例如徽章、立牌和卡牌等。不同于挂画和手办等高价格和高精度的重度周边,轻度周边更便于携带
2025-03-12 20:50:00
吉斯波尔酒业“昆全十一年”威士忌新品上市发布会圆满举行
3月11日上午,“时酿其华 岁成真味”半岛核心产区吉斯波尔酒业十四周年庆典暨“昆全十一年”威士忌新品发布会在烟台隆重举行
2025-03-12 21:02:00
海报新闻记者 孙杰 济南报道3月10日,京东电器城市旗舰店北园大街店举办项目启动仪式,该店位于济南市天桥区北园大街451号
2025-03-12 21:18:00
河北新闻网讯(刘晓丹、张耕朴)3月11日,雄安医疗大健康技术应用大赛场景打造对接会在深圳举办。会上,深圳安泰创新科技股份有限公司市场总监尹波表示,安泰利用异构汇集技术实现数据高效
2025-03-12 21:36:00