- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...。与之相反，Meta 的 LLaMA 系列开源模型向公众提供了模型权重，使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重，发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来，...……更多
2023-10-08 18:12:00权重,模型,开放,模型,权重,安全
...ons中的真实世界统计数据，推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型（LLMs）处理数值或统计数据时面临的幻觉难题，精确性至关重要。DataGemma通过两种关键技术：检索交错生成（RIG）和...……更多
2024-09-13 20:42:00权重,模型,语言,开放,模型,数据
...40 亿参数的混合专家（MoE）模型‘Grok-1’，以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的：神经网络的 3D 插图，具有透明节点和发光连接，以不...……更多
2024-03-18 11:51:00马斯,马斯克,权重,架构,模型,参数
...创建；
用于构建和运行 AI 的完整代码；
训练中的设置和权重，帮助 AI 产生相应的结果。这一定义直接直击 Meta 推动的 Llama 大模型。虽然在生成式 AI 领域里，Llama 一直被广泛宣传为最大的开源 AI 模型，Llama 的使用条款中支持...……更多
2024-10-30 09:52:00权威,标准,数据,模型,系统,训练
...计算任务，从而减少通信等待时间。（2）效果方面专家权重：MoE 中的专家总数为 N ，每个 token 会选择 topK 个专家参与后续的计算，由于专家容量的限制，每个 token 实际选择到的专家数为 M，M<=K根据对比实验的效果，我们选...……更多
2024-09-18 13:36:00中国,商用,模型,参数,模型,专家
...，这是迄今为止性能最好的「真正开源」的模型，不仅有权重和训练代码，而且是基于开放数据集DCLM-Baseline。相比模型性能，DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型，或「犹抱琵琶半遮...……更多
2024-07-22 09:41:00血战,强势,模型,苹果,模型,数据
...模型参数量上，规模通常达到数十亿的级别（其中主要是权重）。
这些参数不仅存储成本相当高，推理阶段的计算量也很大。在推理过程中，激活值是输入和权重的乘积，因此权重数量越多，激活值也会越大。因此，我们希望...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...信息的稀疏性实现更高的剪枝比例；另一个是将优化器和权重联合起来进行压缩，实现整体的高压缩率。
具体方法1. 检查点残差在训练过程中，当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和，这...……更多
2024-08-06 09:27:00检查点,极致,模型,检查,检查点,权重
...的专家们发表了一篇论文，他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害，结果发现，开源大模型的确可能存在风险。研究人员安排了一场黑客马拉松，17名参与者扮演生物...……更多
2023-11-04 13:54:00监管,开放,监管,源派,模型,风险
...token过程中，由于模型首次加载，会在内存中存放全部的权重参数，以及KV Cache等数据。这是模型参数本身所占内存空间的2-3倍。对于千亿参数模型来说，大量的参数和数据输入，需要在强大计算单元中处理。对此，它需要支持...……更多
2024-08-02 09:47:00大厂,模型,参数,疯狂,服务器,服务
...驶员注意区域，他们将其作为一个掩码来调整原始图像的权重，从而使自动驾驶车辆能够像经验丰富的人类驾驶员一样，具备有效定位和预测潜在风险因素的能力。预测驾驶员视觉注视区域的引入，不仅为下游决策任务提供更具...……更多
2024-04-11 10:53:00驾驶,认知,科学家,模块,场景,人类
...Grok开源美东时间3月17日，xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示，开源版大模型Grok-1是一个由 xAI 从头开始训练的 3140 亿个参数混合专家模型。据介绍，基础模型基于大量文本数据进行训练，没有针对任何具体...……更多
2024-03-18 11:50:00马斯,马斯克,模型,全球,马斯,马斯克
...Gemma更加轻量化。同时，Gemma依旧保持免费使用，其模型权重也一并开源，并且允许商用。谷歌共发布了两种不同权重规模的模型，分别为Gemma 2B（20亿参数）和Gemma 7B（70亿参数）。每种规模都有预训练和指令微调版本，允许所有...……更多
2024-02-22 12:44:00模型,对手,笔记本,笔记,电脑,模型
...最重要的部分，例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日，马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼，震惊全球科技...……更多
2024-03-09 22:51:00马斯,马斯克,路线,背后,马斯,马斯克
...接口函数为getPredicOut，实现脚本请联系小助手。
组合权重优化 组合权重优化的目的在于将组合的风险特征完全定量化，使得投资经理可以清楚地了解组合的收益来源和风险暴露。权重优化的目标函数，优化目标多种多样，例...……更多
2024-02-27 15:30:00高性能,模型,因子,模型,收益,风险
...ECE借鉴了已有的方法UCE，通过解析解来编辑交叉注意力的权重，一步到位，避免繁琐微调。给定“源”概念（例如，“裸露”），“目标”概念（例如，空文本“ ”），以及交叉注意力的K/V投影矩阵，UCE的目标是找到新权重，...……更多
2024-08-26 09:54:00复旦,生成,模型,概念,风险,研究
...在后训练阶段，苹果对模型进行了压缩和量化，平均每个权重低于4位。量化后的模型通常会有一定程度的质量损失。因此，研发团队并不是直接将量化模型交给应用团队进行功能开发，而是附加了一组参数高效的LoRA适配器来恢...……更多
2024-08-01 09:40:00进化,模型,苹果,报告,技术,苹果
...量化过程中，模型参数的微小变化可能导致量化后的模型权重与原始模型权重相同。看到这项研究后，不少网友也表示有点意外：从信息理论的角度来看这有点出人意料，似乎已经在完整的32-bit中成功移除了这些知识，但当你将...……更多
2024-11-18 13:33:00模型,隐私,版权,记忆,内容,模型
...的吞吐。△图1 MixQ吞吐与已有开源工作比较MixQ同时量化权重和激活，使用低精度张量核心（INT8/INT4 Tensor Core）实现推理加速；同时，MixQ提取激活中少量的离群值，使用高精度张量核心（FP16 Tensor Core）保持推理准确性，通过系统...……更多
2024-10-22 09:57:00推理,清华,吞吐,精度,混合,模型
...k-1正式对外开源开放，用户可直接通过磁链下载基本模型权重和网络架构信息。（图/钛媒体）xAI表示，Grok-1是一个由xAI 2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的3140亿参数的混合专家（MOE）模型，远超OpenAI...……更多
2024-03-20 13:44:00马斯,马斯克,模型,全球,马斯,马斯克
...用户可以从 Kaggle、Hugging Face、Vertex AI Model Garden 下载模型权重。用户还可以在 Google AI Studio 中试用其功能。下载权重地址：https://huggingface.co/collections/google/gemma-2-2b-……更多
2024-08-02 09:43:00模型,参数,模型,性能,安全,研究
...是开放的，但只限于研究和非商业用途。它提供了开放的权重，允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途，必须提前获取 Mistral AI 商业...……更多
2024-07-26 09:36:00模型,基准,多语,测试,性能,生成
...型要复杂很多，它可以开源的包括模型训练源代码、参数权重、训练数据等。但目前模型厂商通常仅仅开源参数权重，而训练源代码、训练数据等均未开源，这就导致开发者无法去改进它，也就无法对开源模型的效果做贡献。比...……更多
2024-08-28 09:44:00业内人士,模型,业内,根本,人士,成本
...B版本开源了对话模型TeleChat-7B-bot，以及其huggingface格式的权重文件。此外，还开源了7B模型的int8和int4量化版本。在模型开发上，星辰语义大模型已与华为昇腾AI基础软硬件完成适配：支持Atlas300Ipro推理卡，具备int8量化能力；支...……更多
2024-01-14 09:52:00中国电信,语义,中国,星辰,清洗,模型
...分析结果。其次，按照常规配置，对四种损失赋予相同的权重。基于这些假设，可以按以下方式简化重构损失的计算：因此，最小化图像级重构损失的潜在空间表示将是：这不能保证x0+x1+x2+x3比x0+x1+x2更接近arg min X。假设不同深...……更多
2024-07-15 09:34:00生成,视觉,问题,技术,模型,图像
...，截至2024年8月30日，中证人工智能主题指数(930713)前十大权重股分别为海康威视(002415)、中际旭创(300308)、韦尔股份(603501)、新易盛(300502)、科大讯飞(002230)、中科曙光(603019)、寒武纪(688256)、澜起科技(688008)、紫光股份……更多
2024-09-09 14:36:00净流入,人工智能,颠覆,人工,模型,资金
...是在此基础之上蒸馏得到。
继续训练时，低质量数据的权重会被降低，并使用数学、代码以及获得授权的高质量数据，对模型能力进行提升。该过程使用了1T tokens的数据，窗口长度也从4096变成了8192。到了下一阶段，窗口长度...……更多
2024-07-31 09:39:00情商,火爆,模型,苹果,模型,苹果
...然后这篇内容只有6页的论文引发热议：BitNet b1.58模型的权重被量化为三元值{-1, 0, 1}，相当于在二进制系统中使用了1.58 bit来表示每个权重。采用了absmean量化函数来约束权重，将权重矩阵通过其平均绝对值进行缩放，然后四舍五...……更多
2024-10-23 12:05:00模型,微软,推理,框架,参数,模型
...要进行混合精度的矩阵乘法运算（mpGEMM），即用低精度的权重和高精度的激活向量进行计算。然而，现有的系统和硬件并不原生支持这种混合精度的矩阵乘法，因此它们通常需要将低精度的权重转换回高精度，这个过程叫做反量...……更多
2024-08-10 09:52:00新技,微软,提速,新技术,模型,手机
...体的局限问题，超连接可通过动态调整不同层之间的连接权重，解决梯度消失和表示崩溃（Representation Collapse）之间的权衡困境。在 Dense 模型和 MoE 模型预训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 ...……更多
2024-11-08 09:47:00残差,豆包,收敛,字节,模型,团队
更多关于科技的资讯：
没想到临近春节，车圈还能这么热闹。先是雷军转发了小米法务部的抓人声明，后是极氪法务部转发了去年发的微博并再次声明。上次算辟谣
2025-01-28 13:41:00
金鳞耀岁 共启新程梁文锋在总理座谈会上发言 新闻联播截图昨天傍晚DeepSeek最新发布的乙巳新年春节AI贺词
一场名为DeepSeek（深度求索）的风暴
2025-01-28 07:53:00
置办年货始终是过年的重要仪式。最受老百姓钟爱的年货都有啥？阿里巴巴联合第一财经商业数据中心发布的首份“中国年货大数据报告”显示
2025-01-28 08:24:00
大众网记者 张婷婷 魏现芳 济南报道随着春节的临近，家家户户都在忙着准备年货。国家以旧换新政策的推出，更是为广大消费者提供了一个选购家电年货的好机会
2025-01-28 08:42:00
来自DeepSeek的震撼还在继续，美股科技股集体崩盘了，市场蒸发超一万亿美元。美国科技股大跌就在今天凌晨，美国标普500下跌1
2025-01-28 08:55:00
1月28日消息，DeepSeek于服务状态页面公告：近期DeepSeek线上服务受到大规模恶意攻击，为持续提供服务，暂时限制了+86手机号以外的注册方式，已注册用户可以正常登录，
2025-01-28 08:55:00
本文转自：人民网-江西频道自动化设备正在进行开料作业。张欣苑摄数智赋能，传统产业提质增效；新兴产业崛起，低空经济逐梦蓝天
2025-01-28 09:44:00
齐鲁晚报·齐鲁壹点 赵波 新春佳节的脚步日益临近，青岛城运能源科技集团为即墨市民送上了一份特别的节日礼物——即墨汽车总站充电站于1月27日正式上线运营
2025-01-28 13:49:00
毫无疑问，这是2025年，中国给世界的第一个惊喜。当然，对西方某些人来说，这也是惊吓。看了一下，北京时间1月28日凌晨
2025-01-28 09:50:00
在当下消费市场，“电商专供”产品似乎陷入了信任危机。卷纸变小、洗衣液变稀、同款产品线下难寻等现象频发，让“电商专供”在许多消费者心中与质量缩水画上了等号
2025-01-28 02:16:00
快科技1月28日消息，日前，华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东开启直播，驾驶享界S9回安徽老家过年
2025-01-28 06:36:00
如不能正常浏览请选用IE浏览器天津北方网讯：潮购津门，乐呵过年。第二届天津电商节年货节，“一站式”购齐年货，欢欢喜喜过大年。#你好天津 #点赞天津……（津云新闻编辑张麒麟）
2025-01-27 15:37:00
江南时报讯 春节是团圆的盛宴，凝聚着家的灵魂、力量与温暖。南来北往的游子，对于“家”有着更深的情结与眷恋。春运期间，中国电信联合江苏交通文化传媒有限公司在江苏高速阳澄湖
2025-01-27 15:51:00
根据一份流传到网上的内部公告，1月24日，完美世界开除了百万工作室四人，其违规行为包括在素材制作外包管理方面玩忽职守，构成严重失职
2025-01-27 16:03:00
过年回家，你锁门了吗？Zigbang直帮（原三星指纹锁），自动上锁不操心随着春节的脚步日益临近，人们纷纷踏上了归家的旅程
2025-01-27 16:11:00