- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...ons中的真实世界统计数据，推出了一种名为DataGemma的开放权重语言模型新版本。这项研究旨在解决大语言模型（LLMs）处理数值或统计数据时面临的幻觉难题，精确性至关重要。DataGemma通过两种关键技术：检索交错生成（RIG）和...……更多
2024-09-13 20:42:00权重,模型,语言,开放,模型,数据
...40 亿参数的混合专家（MoE）模型‘Grok-1’，以及该模型的权重和网络架构。这也使得Grok-1成为当前参数量最大的开源大语言模型。封面图根据 Grok 提示使用 Midjourney 生成的：神经网络的 3D 插图，具有透明节点和发光连接，以不...……更多
2024-03-18 11:51:00马斯,马斯克,权重,架构,模型,参数
...创建；
用于构建和运行 AI 的完整代码；
训练中的设置和权重，帮助 AI 产生相应的结果。这一定义直接直击 Meta 推动的 Llama 大模型。虽然在生成式 AI 领域里，Llama 一直被广泛宣传为最大的开源 AI 模型，Llama 的使用条款中支持...……更多
2024-10-30 09:52:00权威,标准,数据,模型,系统,训练
...计算任务，从而减少通信等待时间。（2）效果方面专家权重：MoE 中的专家总数为 N ，每个 token 会选择 topK 个专家参与后续的计算，由于专家容量的限制，每个 token 实际选择到的专家数为 M，M<=K根据对比实验的效果，我们选...……更多
2024-09-18 13:36:00中国,商用,模型,参数,模型,专家
...B版本开源了对话模型TeleChat-7B-bot，以及其huggingface格式的权重文件。此外，还开源了7B模型的int8和int4量化版本。在模型开发上，星辰语义大模型已与华为昇腾AI基础软硬件完成适配：支持Atlas300Ipro推理卡，具备int8量化能力；支...……更多
2024-01-14 09:52:00中国电信,语义,中国,星辰,清洗,模型
...。与之相反，Meta 的 LLaMA 系列开源模型向公众提供了模型权重，使得任何拥有合适硬件和专业知识的人都可以自行复制和调整模型。一旦发布了模型权重，发布公司就不再有任何手段来控制 AI 的使用方式了。在 Holly Elmore 看来，...……更多
2023-10-08 18:12:00权重,模型,开放,模型,权重,安全
...k-1正式对外开源开放，用户可直接通过磁链下载基本模型权重和网络架构信息。（图/钛媒体）xAI表示，Grok-1是一个由xAI 2023年10月使用基于JAX和Rust的自定义训练堆栈、从头开始训练的3140亿参数的混合专家（MOE）模型，远超OpenAI...……更多
2024-03-20 13:44:00马斯,马斯克,模型,全球,马斯,马斯克
...Grok开源美东时间3月17日，xAI 正式宣布开源大模型Grok-1的权重和网络架构。xAI 表示，开源版大模型Grok-1是一个由 xAI 从头开始训练的 3140 亿个参数混合专家模型。据介绍，基础模型基于大量文本数据进行训练，没有针对任何具体...……更多
2024-03-18 11:50:00马斯,马斯克,模型,全球,马斯,马斯克
...Gemma更加轻量化。同时，Gemma依旧保持免费使用，其模型权重也一并开源，并且允许商用。谷歌共发布了两种不同权重规模的模型，分别为Gemma 2B（20亿参数）和Gemma 7B（70亿参数）。每种规模都有预训练和指令微调版本，允许所有...……更多
2024-02-22 12:44:00模型,对手,笔记本,笔记,电脑,模型
...态大模型也没有收到太多关注。当时，该版本包含代码和权重，但仅供研究使用，而非商业许可。但随着 Mistral 开源模型备受关注、谷歌 Gemini 即将应用于 Pixel Pro 和 Android，关于本地大模型为小型设备提供支持的讨论越来越多。...……更多
2023-12-26 14:06:00模型,生态,模态,零碎,苹果,模型
...模型参数量上，规模通常达到数十亿的级别（其中主要是权重）。
这些参数不仅存储成本相当高，推理阶段的计算量也很大。在推理过程中，激活值是输入和权重的乘积，因此权重数量越多，激活值也会越大。因此，我们希望...……更多
2024-08-01 09:38:00干货,可视化,模型,工程师,指南,工程
...。具体来说，为了支持图像输入，Meta 训练了一组适应器权重（adapter weight），其可将预训练的图像编码器集成到预训练的语言模型中。该适应器由一系列交叉注意层组成，这些层的作用是将图像编码器表征馈送给语言模型。为...……更多
2024-09-27 13:42:00推理,可在,图像,运行,版本,支持
...在后训练阶段，苹果对模型进行了压缩和量化，平均每个权重低于4位。量化后的模型通常会有一定程度的质量损失。因此，研发团队并不是直接将量化模型交给应用团队进行功能开发，而是附加了一组参数高效的LoRA适配器来恢...……更多
2024-08-01 09:40:00进化,模型,苹果,报告,技术,苹果
...中文大海捞针测试，同样做到了98%以上的准确率。除模型权重外，该模型的微调训练代码，推理代码等全套工具集也被一并开源，大模型相关开发者可做到“开箱即用”。据IT之家此前报道，周鸿祎曾表示，前段时间大模型行业...……更多
2024-04-14 01:04:00模型,训练,参数,模型,文本,评测
...m但比较遗憾的是，目前在HuggingFace仓库中还没有公开模型权重。英伟达官方博客显示，ESM3将在Nvidia BieNeMo平台提供一个小型开源版本的代码和权重，但仅限于非商业用途。仓库地址：https://huggingface.co/EvolutionaryScale/esm3-s……更多
2024-06-27 09:31:00进化史,力作,老将,蛋白质,进化,蛋白
...可生成高质量3D资产，已在技术社区公开发布，包含模型权重、推理代码、模型算法等完整模型，可供开发者、研究者等各类用户免费使用。本次开源的是1.0版本，后续还会有更完善、更先进的模型陆续发布。3D生成是一个较新...……更多
2024-11-06 09:41:00模型,腾讯,全家,生成,同时,语言
...是开放的，但只限于研究和非商业用途。它提供了开放的权重，允许第三方根据自己的需求对模型进行微调。这一协议是对用户使用条件的一个重要限制。对于需要自行部署 Mistral Large 2 的商业用途，必须提前获取 Mistral AI 商业...……更多
2024-07-26 09:36:00模型,基准,多语,测试,性能,生成
...动音频生成技术的发展和普及。目前，Stable Audio Open模型权重可在机器学习模型平台Hugging Face上获取。Stability AI鼓励声音设计师、音乐家、开发人员以及任何对音频感兴趣的人探索该模型的功能并提供反馈。来源：Stability AI ……更多
2024-07-25 09:22:00最新技术,火爆,模型,细节,音频,全球
...分析结果。其次，按照常规配置，对四种损失赋予相同的权重。基于这些假设，可以按以下方式简化重构损失的计算：因此，最小化图像级重构损失的潜在空间表示将是：这不能保证x0+x1+x2+x3比x0+x1+x2更接近arg min X。假设不同深...……更多
2024-07-15 09:34:00生成,视觉,问题,技术,模型,图像
...个全新的模型架构。在图像输入方面，训练了一组适配器权重，将预训练的图像编码器集成到预训练的大语言模型中。具体来说，该适配器：由一系列交叉注意力层组成，负责将图像编码器的表示输入进大语言模型通过在文本-...……更多
2024-09-27 13:39:00模态,宝宝,模型,图像,训练,文本
...，这是迄今为止性能最好的「真正开源」的模型，不仅有权重和训练代码，而且是基于开放数据集DCLM-Baseline。相比模型性能，DCLM做出的「真正开源」的典范更加引人关注。对比大部分科技巨头只搞闭源模型，或「犹抱琵琶半遮...……更多
2024-07-22 09:41:00血战,强势,模型,苹果,模型,数据
...是在此基础之上蒸馏得到。
继续训练时，低质量数据的权重会被降低，并使用数学、代码以及获得授权的高质量数据，对模型能力进行提升。该过程使用了1T tokens的数据，窗口长度也从4096变成了8192。到了下一阶段，窗口长度...……更多
2024-07-31 09:39:00情商,火爆,模型,苹果,模型,苹果
... 2000 位，先到先得。智谱还将开放 GLM-4-Flash 模型的微调权重下载，很快人们将可以自由选择部署平台。这一系列行动，展示了国内大模型公司在应用层面的独特优势。在大模型技术对标国际先进水平的同时，国内 AI 的先头部队...……更多
2024-08-28 09:43:00真香,模型,模型,能力,应用,开发
...多数 MoE 模型都是闭源的，虽然有些模型公开发布了模型权重，但有关训练数据、代码等的信息却很有限，甚至有些研究没有提供这些信息。由于缺乏开放资源和对研究细节的深入探索，在 MoE 领域无法构建具有成本效益的开源...……更多
2024-09-06 10:01:00推理,模型,成本,参数,模型,训练
...最重要的部分，例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日，马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼，震惊全球科技...……更多
2024-03-09 22:51:00马斯,马斯克,路线,背后,马斯,马斯克
...领悟”（Grokking）现象，《解锁 Grokking：Transformer模型中权重初始化策略的比较研究》本文首次系统研究了权重初始化对grokking的影响，比较了五种权重初始化策略，以优化神经网络学习动态。结果发现：Xavier初始化在多数任务中...……更多
2024-08-14 09:40:00审稿人,学术论文,科学家,生成,独立,学术
...型，GPT-3.5表示感受到时代的力量，默默退出群聊。开放权重：https://huggingface.co/microsoft/GRIN-MoEdemo：https://github.com/microsoft/GRIN-MoEMoE全新训练路径GRIN MoE由常规的Transformer块构成……更多
2024-11-12 09:57:00专家,微软,路径,模型,模型,专家
...要进行混合精度的矩阵乘法运算（mpGEMM），即用低精度的权重和高精度的激活向量进行计算。然而，现有的系统和硬件并不原生支持这种混合精度的矩阵乘法，因此它们通常需要将低精度的权重转换回高精度，这个过程叫做反量...……更多
2024-08-10 09:52:00新技,微软,提速,新技术,模型,手机
...信息的稀疏性实现更高的剪枝比例；另一个是将优化器和权重联合起来进行压缩，实现整体的高压缩率。
具体方法1. 检查点残差在训练过程中，当前的参数可以看作上一个检查点存储的权重加上逐次迭代时梯度更新的总和，这...……更多
2024-08-06 09:27:00检查点,极致,模型,检查,检查点,权重
...在表 2 中，作者给出了几个不同模型大小的总体准确度。权重和 RBR 函数：RBR 是关于特征的简单 ML 模型，并且在所有实验中，它都是一个线性模型，具有可学习参数 w = {w_0, w_1, . . . , w_N }，给定 N 个特征：内循环：拟合 RBR
RBR ...……更多
2024-11-07 09:54:00定律,机器人,模型,规则,机器,安全
更多关于科技的资讯：
卖出全球超60%的机器狗 研发国内首个实现量产的人形机器人托马斯全旋，悬崖边侧空翻、360°跳跃转体，涉水奔跑、旋风冲跳……昨天
2024-12-25 12:35:00
快科技12月25日消息，小米目前已经上市、官宣两款车型，一款纯电轿车小米SU7、一款纯电SUV小米YU7，两款车型都走的运动风格
2024-12-25 12:35:00
快科技12月25日消息，据媒体报道，近日，疑喝出蟑螂当事人称撤销对瑞幸咖啡的投诉。他发文表示：“通过市场监督管理部门带着本人去门店观看监控
2024-12-25 12:35:00
12月25日消息，都说眼睛是心灵的窗户，但当前随着课外作业过多、电子产品的过度使用，越来越多的孩子眼睛出现问题。据湖北广播电视台报道
2024-12-25 12:35:00
快科技12月25日消息，在今年小鹏P7+上市发布会上，小鹏汽车董事长何小鹏曾表示，P7+拥有统同级最大的2221L可拓展空间
2024-12-25 12:35:00
在当今科技飞速发展的时代，人形机器人领域已成为创新的前沿与焦点，吸引着全球目光。众擎机器人凭借深厚的技术积累和无畏的创新精神
2024-12-25 12:45:00
12月21日，由中国版权协会主办的“2024年中国版权年会暨远集坊文化高质量发展论坛”在海南海口举办。该年会是我国版权领域规格最高
2024-12-25 12:45:00
“新质生产力”已成为2024年的关键词，是推动我国经济社会发展的核心动力。中央经济工作会议明确将“科技创新引领新质生产力发展
2024-12-25 12:59:00
2024年,对于民族品牌英树来说是被国际认可的一年。在一年中同时获得四大国际设计界权威奖项认证的英树品牌超级符号——INGS子弹瓶
2024-12-25 13:01:00
日前,一场以“AI+”为主题的线下沙龙在邢台沙河市大学生创业就业孵化园内举行,汇聚来自科技、产业等领域的专家和企业家,探讨了人工智能技术在商业中的前景与未来机遇
2024-12-25 13:02:00
快科技12月25日消息，上周六晚，蔚来正式发布了第三品牌萤火虫，其定位于全球高端新能源小车，中国市场预售14.88万起
2024-12-25 13:05:00
快科技12月25日消息，据TrendForce报道，继美光科技发布黯淡的业绩展望后，三星电子和SK海力士也下调了2024年第四季度的收益预期
2024-12-25 13:05:00
本文转自：人民网-河北频道近日，由秦皇岛经济技术开发区一家小微企业自主研制的碳足迹公共服务平台开始进入试运营阶段，可对秦皇岛76家高耗能企业进行“碳盘查”
2024-12-25 13:18:00
今年NIO Day开完，蔚来品牌很火，还火出圈了。核心推力不是事前预想的“技术旗舰”—蔚来ET9，而是来自纯电小车萤火虫的“三眼大灯”
2024-12-25 13:35:00
快科技12月25日消息，近期欧可林AirPump A10氧气啵啵冲牙器发布，售价449元。现在这款新机已经来到我们评测室
2024-12-25 13:35:00