- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...官方还附赠一波福利：每个组织每天都能免费获得100万个训练token，用到9月23日。也就是说，开发人员现在可以使用自定义数据集微调GPT-4o，从而低成本构建自己的应用程序。要知道，OpenAI在公告中透露了：GPT-4o微调训练成本为...……更多
2024-08-22 09:52:00训练,开放,缓存,提示,模型,训练
...能解决越来越复杂和越来越多的难题，而这些难题所需的训练数据已经超出了人类的能力。因此，我们就需要为 LLM 构建一种能使其实现自我提升的基本机制，让模型可以持续地自我生成和自我求解更困难的问题。于是，问题就...……更多
2024-11-06 09:44:00框架,人类,问题,提示,策略,模型
...型的推理速度。为什么要把Llama变成Mamba？因为从头开始训练一个大模型太贵了。Mamba也火了这么长时间了，相关的研究每天都有，但自己训练大尺寸Mamba模型的却很少。目前比较有名的是AI21的Jamba（进化到了1.5版本，最大398B，MoE...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
...出的第一版Mamba架构，增加了RMS归一化层以确保在大规模训练中保持稳定性。这种架构选择确保了Falcon Mamba模型：- 可以在不增加任何内存存储的情况下处理任意长度的序列，特别是可以在单张A10 24GB GPU上运行；- 无论上下文大小...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...U直访存储、全局一致性缓存等技术为AI大模型数据归集、训练、数据归档与管理等阶段提供强大存储支撑能力，助力用户加速大模型系统的创新及应用落地。DataTurbo数据加速引擎，全力保障大模型高效训练在大模型的数据应用全...……更多
2024-06-16 10:27:00浪潮信息,浪潮,信息,模型,数据,训练
...，覆盖了苹果LLM的设计与评估，包括架构、数据管理、预训练和后训练的recipe、优化、功能适应、和评估结果。论文地址：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.……更多
2024-08-01 09:40:00进化,模型,苹果,报告,技术,苹果
... 3.1 Instruct 的相应版本！长达 73 的技术报告详细介绍了后训练的细节。在最近关于「Scaling Law 是否撞墙」的讨论中，后训练（post-training）被寄予厚望。众所周知，近期发布的 OpenAI o1 在数学、 代码、长程规划等问题上取得了显...……更多
2024-11-26 09:44:00模型,性能,训练,模型,训练,数据
...uan-A52B-Instruct和Hunyuan-A52B-Instruct-FP8。并发布了技术报告和训练推理操作手册，详细介绍了模型能力和训练与推理的操作。其中模型技术优势如下：高质量合成数据：通过合成数据增强训练，Hunyuan-Large能够学习到更丰富的表示，...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...准测试和一般基准测试中优于使用数万亿 token 从头开始训练的开源混合 Mamba 模型。此外，该研究还提出了一种硬件感知推测解码算法，可以加快 Mamba 和混合模型的推理速度。
论文地址：https://arxiv.org/pdf/2408.15237该研究的性能...……更多
2024-09-03 09:59:00线性,新作,混合,作者,模型,线性
...中更多的细节。2、视觉编码器部分，支持混合图片/视频训练，提升压缩重建性能
视频生成模型中的视觉编码器，在压缩图片/视频数据，保留细节信息方面起着关键作用。混元团队自研了3D视觉编码器支持混合图片/视频训练，...……更多
2024-12-04 09:50:00腾讯,权重,推理,模型,参数,代码
...新步伐基于腾讯混元的开源模型，开发者及企业无需从头训练，即可直接用于推理，并可基于腾讯混元系列打造专属应用及服务，能够节约大量人力及算力。同时，各大模型研发团队均可基于腾讯混元模型进行研究与创新，加速...……更多
2024-12-04 09:48:00文生,腾讯,模型,参数,社区,视频
...进行了有无注意力logit软封顶的消融实验，发现大多数预训练和后期评估中，生成质量几乎不受影响。本文中的所有评估均使用包含注意力logit软封顶的完整模型架构。然而，某些下游性能可能仍会受到此移除的轻微影响。
使用R...……更多
2024-06-29 09:37:00诚意,经济,模型,训练,性能,注意力
...、算力补贴、应用场景示范、人才等全方位支持；清影的训练依托亦庄高性能算力集群，在北京亦庄算力集群诞生，未来也将应用于北京亦庄广阔的高精尖产业集群，形成大模型赋能实体经济的新业态。在生态合作上，bilibili作...……更多
2024-07-27 09:30:00亦庄,甲子,生成,模型,视频,模型
...晶圆级AI芯片WSE-3，性能达到了上一代WSE-2的两倍，可用于训练业内一些最大的人工智能模型。在近日的Hot Chips 2024大会上，Cerebras Systems详细介绍了这款芯片在AI推理方面的性能。根据官方资料显示，WSE-3依然是采用了一整张12英寸...……更多
2024-09-02 13:36:00晶圆,芯片,生成,模型,性能,参数
...建，使创意人员能有更多时间探索创意愿景。
三、Firefly训练数据合法且丰富，支持超过100种语言文本提示商业可用性是AI视频生成行业的关键问题。此前，Runway公司在训练其AI视频生成工具Gen-3时，涉嫌非法使用了大量YouTube视...……更多
2024-10-17 09:52:00公测,一键,生成,视频,现实,开放
...理的全新模型架构。具体来说，为了支持图像输入，Meta 训练了一组适应器权重（adapter weight），其可将预训练的图像编码器集成到预训练的语言模型中。该适应器由一系列交叉注意层组成，这些层的作用是将图像编码器表征馈...……更多
2024-09-27 13:42:00推理,可在,图像,运行,版本,支持
...与文本指令进行视频生成，并有效利用公开视频数据进行训练。首先，团队采用广泛使用的2D UNet作为扩散模型，该模型由一系列空间下采样层和一系列空间上采样层构建，并插入了跳跃连接。具体来说，它由两个基本模块构建...……更多
2024-09-26 13:41:00字节,火爆,再次,小时,论文,指令
...界参数规模最大、效果最好的开源MoE大语言模型，采用7T训练tokens，总参数量389B，激活参数量52B，上下文长度高达256K，技术报告也同步发布。混元-Large包括三款模型：Hunyuan-A52B-Pretrain，Hunyuan-A52B-Instruct和Hunyuan-A52……更多
2024-11-06 09:41:00模型,腾讯,全家,生成,同时,语言
...库、内部问答数据以及人工标注数据等金融知识进行融合训练调优，实现了全方位的金融知识理解和智能问答应用。图：ChatABC 1.0技术支撑及能力视图二、涵盖事项农业银行AI研发团队深入贯彻落实数字化转型战略，始终保持对...……更多
2024-04-08 17:06:00农业银行,典型案例,模型,典型,案例,银行
...提出 LazyLLM 的基础。LazyLLM 的优势包括适用范围广、无需训练、效果好。图 3 对比了标准 LLM 与 LazyLLM。LazyLLM图 4 展示了 LazyLLM 的整体框架。从完整上下文开始，LazyLLM 会逐渐对 token 进行剪枝，从而逐渐减少得到最终模型所使用...……更多
2024-08-05 09:35:00准确度,更快,模型,苹果,缓存,模型
...选择专家模块。但 MoE 模型的专家模块稀疏激活可能导致训练稳定性问题，部分参数不常使用降低参数效率，在处理长序列时可能在计算效率和训练稳定性方面面临挑战，且对动态变化适应性不足。
二、MixCon 的核心架构与技术C...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
...套图像分割的通用模型，降低了对于特定场景建模知识、训练计算、数据标记的需求，有望在统一框架下完成图像分割任务。目前Meta公司已经开放共享SAM的代码和训练数据集。
利用海量数据实现准确分割那么，SAM是通过什么技...……更多
2023-04-17 01:26:00模型,图像,杨戈,数据,物体,提示
...更多 OpenAI 的开放部分’。回到模型本身，Grok-1 从头开始训练，并且没有针对任何特定应用（如对话）进行微调。相对的，在 X（原 Twitter）上可用的 Grok 大模型是微调过的版本，其行为和原始权重版本并不相同。
Grok-1 的模型...……更多
2024-03-18 11:51:00马斯,马斯克,权重,架构,模型,参数
...的下一代产品——Llama 3。据介绍，Llama 3 在 24K GPU 集群上训练，使用了 15T 的数据，提供了 8B 和 70B 的预训练和指令微调版本，可以支持广泛的应用。同时，Llama 3 在广泛的行业基准测试中达到了 SOTA，并提供了新的功能，如改进...……更多
2024-04-20 11:03:00模型,训练,参数,数据,全球,模型
...大人工智能基础模型迫在眉睫。智谱AI于2020年底研发GLM预训练架构，三年多来始终坚持全自研路线，新一代基座大模型GLM-4是智谱 AI专注于大模型创新的最新成果。智谱 AI愿与人工智能行业所有的参与者、产业链上下游合作伙伴...……更多
2024-02-04 14:00:00司南,基座,前列,新一代,模型,评测
...上，考虑到大模型和异构多芯发展趋势，为了保障大模型训练推理性能、简化大模型开发调优过程以及更好地适配各种芯片，飞桨与文心联合，在训练、推理两个方面定向优化。▲飞桨框架设计理念具体来说，动静统一的自动并...……更多
2024-07-01 09:21:00文心,快码,程序员,模型,程序,文心
...门控模型控制专家模型的选择和加权混合。简言之，MoE在训练过程通过门控模型实现“因材施教”，进而在推理过程实现专家模型之间的“博采众长”。 图1MoE架构原理示意图1MoE的特征优势是专家化、动态化、稀疏化，在模型研...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
...杂的方程或微积分求解。
智谱AI于2020年底开始研发GLM预训练架构，2021年训练完成百亿参数模型GLM-10B，2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B。2023年推出基于千亿基座的对话模型ChatGLM，并开源单卡版模型Cha...……更多
2024-01-17 16:47:00模型,基座,基金,模型,文生,模态
...种多样的任务。就算它们缺乏某个功能，也可以通过持续训练来增添，同时不会对其它功能产生太大影响。
单动作空间：这也不难。如果我们有多个使用不同工具的智能体，那么我们可以 (1) 为模型提供相对通用的工具，以帮...……更多
2024-10-11 12:03:00智能,副教授,体系,智能,提示,体系
...效减少硬件开销和RAM用量。官方举例，在LLaMA370B模型的预训练中，torchao提供的float8训练流程可将模型计算速度提升1.5倍。开发者只需利用convert_to_float8_training函数，即可将模型训练转换为float8，从而轻松实现模型高效训练。在推...……更多
2024-10-03 02:58:00工具集,工具,模型,可将,训练,推理
更多关于科技的资讯：
快科技12月5日消息，据媒体报道，苹果与百度合作，为国行版iPhone接入百度AI大模型。报道指出，苹果向百度支付了AI大模型的使用费用
2024-12-05 00:09:00
12月4日消息，科技媒体securityonline于12月2日发布博文，报道称微软于11月13日面向Windows10
2024-12-05 00:38:00
快科技12月5日消息，日前，快手网红祁天道在直播时为了博眼球和取悦粉丝，对一女子做出多次不当行为，行为举止极为失态，相关视频在网络引起热议
2024-12-05 00:39:00
沉寂了几年后，人人网终于又搞出了新闻，登上了微博热搜。但是内容是#人人网已停止服务#。大致的前因后果就是：有用户发现人人网无法登录
2024-12-05 00:39:00
快科技12月5日消息，据报道，广州佛山的方小姐近期准备打算买一辆车，就先到广汽埃安4S店去试驾一下。而方小姐属于“本本一族”
2024-12-05 00:39:00
快科技12月5日消息，据报道，澳大利亚裁判文书网JADE公布的信息显示，针对奥迪对蔚来在澳大利亚提交的“ES6、ES7
2024-12-05 00:39:00
12月4日消息，据Famiboards论坛用户爆料，中国电商平台阿里巴巴上的商家已经开始销售声称与任天堂“Switch2”兼容的配件
2024-12-05 00:40:00
12月4日消息，网易“武侠吃鸡”游戏《永劫无间》今日官宣，联动CDPR经典单机游戏《巫师3：狂猎》，联动内容明日上线。杰洛特
2024-12-05 01:11:00
12月4日消息，一项新研究显示，到2030年，更换一整块电动汽车电池的成本可能低于修理燃油车发动机的费用。据电动车研究机构Recurrent的报告显示
2024-12-05 01:31:00
12月4日消息，从大湾区之声获悉，为进一步便利澳门居民往内地及旅客访澳的交通出行，澳门特区政府交通事务局与交通运输部积极协调
2024-12-05 01:33:00
12月4日消息，B社今日公布了《夺宝奇兵：古老之圈》的完整PC配置要求，提前为12月5日的抢先体验版发布做准备。IT之家整理《夺宝奇兵
2024-12-05 01:36:00
12月4日消息，全新岚图梦想家乾崑版于12月3日开启规模交付，是首款搭载华为乾崑智驾与鸿蒙座舱的MPV。目前提车的乾崑版无法使用哨兵模式
2024-12-05 01:39:00
12月4日消息，据浪涨科技报道，11月27日，有用户在个人社交账号反映，鸿蒙NEXT微信1.0.2.33版，在手机端引用对方的消息后
2024-12-05 01:41:00
12月4日消息，今年春季刚刚正式上线的免费团队射击游戏《不羁联盟》将迎来其生命的“终结”——北京时间今晨，育碧宣布，该作将在开发终止后关闭服务器
2024-12-05 01:48:00
12月4日消息，科技媒体smartprix昨日（12月3日）发布博文，报道称Nothing公司正研发代号为“asteroids”
2024-12-05 02:07:00