• 我的订阅
  • 头条热搜
开放模型权重被指将导致AI失控,Meta遭举牌抗议
...。与之相反,Meta 的 LLaMA 系列开源模型向公众提供了模型权重,使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重,发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来,...……更多
谷歌推出datagemma开放权重语言模型新版本
...ons中的真实世界统计数据,推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型(LLMs)处理数值或统计数据时面临的幻觉难题,精确性至关重要。DataGemma通过两种关键技术:检索交错生成(RIG)和...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...40 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的:神经网络的 3D 插图,具有透明节点和发光连接,以不...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
...计算任务,从而减少通信等待时间。(2)效果方面专家权重:MoE 中的专家总数为 N ,每个 token 会选择 topK 个专家参与后续的计算,由于专家容量的限制,每个 token 实际选择到的专家数为 M,M<=K根据对比实验的效果,我们选...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
...,这是迄今为止性能最好的「真正开源」的模型,不仅有权重和训练代码,而且是基于开放数据集DCLM-Baseline。相比模型性能,DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型,或「犹抱琵琶半遮...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...模型参数量上,规模通常达到数十亿的级别(其中主要是权重)。 这些参数不仅存储成本相当高,推理阶段的计算量也很大。在推理过程中,激活值是输入和权重的乘积,因此权重数量越多,激活值也会越大。因此,我们希望...……更多
70倍极致压缩!大模型的检查点再多也不怕
...信息的稀疏性实现更高的剪枝比例;另一个是将优化器和权重联合起来进行压缩,实现整体的高压缩率。 具体方法1. 检查点残差在训练过程中,当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和,这...……更多
AI监管和开放,到底如何平衡?
...的专家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。研究人员安排了一场黑客马拉松,17名参与者扮演生物...……更多
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
...token过程中,由于模型首次加载,会在内存中存放全部的权重参数,以及KV Cache等数据。这是模型参数本身所占内存空间的2-3倍。对于千亿参数模型来说,大量的参数和数据输入,需要在强大计算单元中处理。对此,它需要支持...……更多
科学家研发自动驾驶新模块,让自动驾驶场景理解更接近人类认知
...驶员注意区域,他们将其作为一个掩码来调整原始图像的权重,从而使自动驾驶车辆能够像经验丰富的人类驾驶员一样,具备有效定位和预测潜在风险因素的能力。预测驾驶员视觉注视区域的引入,不仅为下游决策任务提供更具...……更多
“言出必行”马斯克,全球最大开源模型Grok真的来了
...Grok开源美东时间3月17日,xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示,开源版大模型Grok-1是一个由 xAI 从头开始训练的 3140 亿个参数混合专家模型。据介绍,基础模型基于大量文本数据进行训练,没有针对任何具体...……更多
碾压所有对手?谷歌发布轻量化开源大模型,笔记本电脑就可跑
...Gemma更加轻量化。同时,Gemma依旧保持免费使用,其模型权重也一并开源,并且允许商用。谷歌共发布了两种不同权重规模的模型,分别为Gemma 2B(20亿参数)和Gemma 7B(70亿参数)。每种规模都有预训练和指令微调版本,允许所有...……更多
马斯克要求OpenAI恢复开源,背后是开源闭源路线之争
...最重要的部分,例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日,马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼,震惊全球科技...……更多
基于DolphinDB的高性能Barra风控模型
...接口函数为getPredicOut,实现脚本请联系小助手。 组合权重优化 组合权重优化的目的在于将组合的风险特征完全定量化,使得投资经理可以清楚地了解组合的收益来源和风险暴露。权重优化的目标函数,优化目标多种多样,例...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
...ECE借鉴了已有的方法UCE,通过解析解来编辑交叉注意力的权重,一步到位,避免繁琐微调。给定“源”概念(例如,“裸露”),“目标”概念(例如,空文本“ ”),以及交叉注意力的K/V投影矩阵,UCE的目标是找到新权重,...……更多
开源狂潮让巨头惨败,谷歌内部文件曝光
...们真的有重大的架构改进,以至于无法直接重新使用模型权重,那么我们应该去投资更积极的蒸馏形式,来尽可能多地保留上一代模型的功能。如果我们能够在小模型上快速迭代,那么从长远来看,大模型并不是强到无所不能LoR...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...在后训练阶段,苹果对模型进行了压缩和量化,平均每个权重低于4位。量化后的模型通常会有一定程度的质量损失。因此,研发团队并不是直接将量化模型交给应用团队进行功能开发,而是附加了一组参数高效的LoRA适配器来恢...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...k-1正式对外开源开放,用户可直接通过磁链下载基本模型权重和网络架构信息。(图/钛媒体)xAI表示,Grok-1是一个由xAI 2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的3140亿参数的混合专家(MOE)模型,远超OpenAI...……更多
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
...用户可以从 Kaggle、Hugging Face、Vertex AI Model Garden 下载模型权重。用户还可以在 Google AI Studio 中试用其功能。下载权重地址:https://huggingface.co/collections/google/gemma-2-2b-……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...是开放的,但只限于研究和非商业用途。它提供了开放的权重,允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途,必须提前获取 Mistral AI 商业...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
...型要复杂很多,它可以开源的包括模型训练源代码、参数权重、训练数据等。但目前模型厂商通常仅仅开源参数权重,而训练源代码、训练数据等均未开源,这就导致开发者无法去改进它,也就无法对开源模型的效果做贡献。比...……更多
谷歌 AI 绘画 4 大牛携手创业,天使估值 7 个亿
...级超采样。依赖于新的采样技术,Imagen允许使用大的引导权重,所以不会像原有工作一样使样本质量下降。这么一来,图像具有更高的保真度,并且能更好地完成图像-文本对齐。 概念说起来简单,但Imagen的效果还是令人大为震...……更多
中国银保监会、中国人民银行有关部门负责人就《商业银行资本管理办法(征求意见稿)》答记者问
...。二、本次修订的原则是什么?一是坚持风险为本。风险权重是维护资本监管审慎性的基石。风险权重的设定应客观体现表内外业务的风险实质,使资本充足率准确反映银行整体风险水平和持续经营能力。二是强调同质同类比较...……更多
...B版本开源了对话模型TeleChat-7B-bot,以及其huggingface格式的权重文件。此外,还开源了7B模型的int8和int4量化版本。在模型开发上,星辰语义大模型已与华为昇腾AI基础软硬件完成适配:支持Atlas300Ipro推理卡,具备int8量化能力;支...……更多
MSRA:视觉生成六大技术问题
...分析结果。其次,按照常规配置,对四种损失赋予相同的权重。基于这些假设,可以按以下方式简化重构损失的计算:因此,最小化图像级重构损失的潜在空间表示将是:这不能保证x0+x1+x2+x3比x0+x1+x2更接近arg min X。假设不同深...……更多
秒变3D模型,AI游戏或被颠覆,AI人工智能ETF(512930)连续3天获资金净流入
...,截至2024年8月30日,中证人工智能主题指数(930713)前十大权重股分别为海康威视(002415)、中际旭创(300308)、韦尔股份(603501)、新易盛(300502)、科大讯飞(002230)、中科曙光(603019)、寒武纪(688256)、澜起科技(688008)、紫光股份……更多
苹果AI版iOS首日火爆:聊天秒变高情商,大模型成最强嘴替
...是在此基础之上蒸馏得到。 继续训练时,低质量数据的权重会被降低,并使用数学、代码以及获得授权的高质量数据,对模型能力进行提升。该过程使用了1T tokens的数据,窗口长度也从4096变成了8192。到了下一阶段,窗口长度...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
...要进行混合精度的矩阵乘法运算(mpGEMM),即用低精度的权重和高精度的激活向量进行计算。然而,现有的系统和硬件并不原生支持这种混合精度的矩阵乘法,因此它们通常需要将低精度的权重转换回高精度,这个过程叫做反量...……更多
“国家队”AI大模型正式发布,AI人工智能ETF(512930)持续获资金积极布局
...2024年4月30日,中证沪港深线上消费主题指数(931481)前十大权重股分别为美团-W(03690)、腾讯控股(00700)、快手-W(01024)、顺丰控股(002352)、科大讯飞(002230)、昆仑万维(300418)、京东健康(06618)、世纪华通(002602)、圆通速递(6……更多
美女刷屏真假难辨网友:警惕ai网恋诈骗
...单块11GB显存的RTX2080Ti实现模型完整微调,同时原始模型权重冻结,新训练出来的权重可以保存为3MB大小的单个文件发布。这项技术被AI绘画爱好者用来让模型固定生成一个物体,最流行的就是固定一个人物形象。现在,在CivitAI...……更多
更多关于科技的资讯:
月收入超过1万的人还是很少的!专家建议:提高个税起征点至8000元
9月28日消息,中欧国际工商学院教授,中国人民银行调查统计司原司长盛松成今天公开表示,建议提高个税起征点至8000元。盛松成建议
2024-09-28 14:02:00
瞒了10年!日本最大铁路客运公司承认造假:鞠躬道歉不是解决问题关键
快科技9月28日消息,据国外媒体报道称,继京王重机整备公司公然造假后,现在日本东日本旅客铁道公也公开承认了造假。日本东日本旅客铁道公司的相关公司“综合车辆制作所”发布消息称
2024-09-28 14:02:00
本文转自:人民网人民网深圳9月28日电(王星、唐欣欣)9月27日,“企业对对碰 一起赢市场”启动仪式暨首场活动在深圳市罗湖区统一战线服务中心举行
2024-09-28 14:13:00
天津北方网讯:28日,天津市商务局发布2024年天津市家居焕新补贴活动细则。全文如下2024年天津市家居焕新补贴活动细则为贯彻落实党中央
2024-09-28 14:14:00
特别报道 | 新电商浪潮下的“宝藏吉林”,藏着人参“出圈”的密码
补光灯、声卡、话筒、助播……你我熟悉的直播情景,在第四届中国新电商大会会场前厅全景呈现。“世界人参看中国,中国人参看吉林
2024-09-28 14:19:00
周鸿祎谈新电商大模型:助力吉林数字经济发展
“电商作为原生互联网行业,天然适合大模型发挥作用。电商需深度应用大模型基础能力和业务能力。”9月27日,在第四届中国新电商大会上
2024-09-28 14:20:00
OpenAI高管震荡内幕:CEO无视安全仓促上马4o追名逐利初心不再
动荡内幕终于曝光——OpenAI CTO Mira Murati的离开,与GPT-4o、Her息息相关!简单来说,就是今年春天OpenAI为了大抢谷歌开发者大会的风头
2024-09-28 14:32:00
仅4年!中国制造特斯拉出口突破100万辆
快科技9月28日消息,今天特斯拉对外事务副总裁陶琳宣布,今天第100万辆出口的中国制造特斯拉从上海南港码头装船启航。陶琳表示
2024-09-28 14:32:00
余承东:华为ADS 3.0升级以后驾驶更丝滑、还学会了抢道
9月28日上午消息,今日上午,余承东和马东开启直播,直播过程中,余承东盛赞了近期更新推送的乾崑智驾ADS 3.0。余承东表示
2024-09-28 14:32:00
我国“丝路梦享号”列车将于10月2日发车:全程星级住宿+米其林餐饮
快科技9月28日消息,据中国铁路官方介绍,国内高品质特色旅游列车——“丝路梦享号”将于10月2日开启新旅程。“丝路梦享号”旅游列车由中国铁路青藏集团有限公司运营
2024-09-28 14:32:00
经济困境中,知识管理助力削减运营成本
由于通货膨胀和中美冲突,经济前景一直不确定。裁员猖獗,您昨天收到了最高管理层的指示,要求削减运营成本!你怎么做呢?首屈一指的IT分析公司Gartner给出了答案
2024-09-28 15:01:00
神仙公司!张雪峰宣布国庆放10天假 9月28日就已经放了
快科技9月28日消息,网红老师张雪峰今天在个人微博宣布:为了让员工有充分的时间和精力为祖国庆祝生日,我们放十天假。其晒出的国庆放假安排海报显示
2024-09-28 15:02:00
坚持使用激光雷达 余承东:纯视觉方案摄像头致盲就完蛋了
快科技9月28日消息,今日上午,华为余承东和知名主持人马东举行了访谈,在谈到华为乾崑智驾ADS 3.0的时候,马东抛出了一个问题
2024-09-28 15:02:00
虚拟宇宙中,十款备受瞩目的端游正如璀璨星辰般闪耀吸引玩家目光
9月27日消息,在广袤无垠的虚拟宇宙中,十款备受瞩目的端游正如璀璨星辰般闪耀,吸引着无数玩家的目光。这些游戏各具特色,融合了创造
2024-09-28 15:14:00
物流运输作为现代经济的重要组成部分,承担着商品流通的重任。随着互联网技术的飞速发展,物流运输行业正经历着新变革,两者之间的深度融合不仅提升了行业效率和服务质量
2024-09-28 15:21:00