• 我的订阅
  • 头条热搜
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
...的出现打破了这一局面,它可以随上下文长度的增加实现线性扩展。随着 Mamba 的发布,这些状态空间模型 (SSM) 在中小型规模上已经可以与 Transformer 匹敌,甚至超越 Transformer,同时还能维持随序列长度的线性可扩展性,这让 Mamba...……更多
科学家制备纳米片超晶格,让LED可直接发射强线性偏振光
...中单一非对称形状的各向异性量子点已被证明可以发出强线性偏振光,例如纳米线、纳米棒等。这些非对称的单一量子点的线性偏振能大于 70%。但是因为尺寸的不均一性等原因,如何将其在薄膜和器件中有序排列仍是一个待解...……更多
信号表征指数级强、内存节省35%,量子隐式表征网络
...架构QIREN 的总体架构如图 3 所示,由 N 个混合层和末端的线性层组成。该模型以坐标作为输入并输出信号值。数据最初进入混合层,从 Linear 层和 BatchNorm 层开始,得到:然后被输入到数据重新上传量子电路 QC 中。在图 2 (b) 和 (c...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...推测解码。最终,研究人员将Zephyr-7B、Llama-3 8B提炼为了线性RNN模型(混合Mamba和Mamba2),且性能与蒸馏之前的标准模型相当。整个训练过程只使用了20B的token,效果却能够与使用1.2T个token从头开始训练的Mamba 7B模型,以及使用3.5T...……更多
infini-attention:谷歌大内存机制
...Infini-attention。它通过将压缩记忆(compressivememory)整合到线性注意力机制中,用来处理无限长上下文。压缩记忆允许模型在处理新输入时保留和重用之前的上下文信息。它通过固定数量的参数来存储和回忆信息,而不是随着输入...……更多
赵旭东:重要的五个思维模型——旭东投资感悟
...。要超越普通人的认知就得掌握更多的思维模型。01、非线性思维由于人类长期的进化结果,我们更倾向于用“线性”思维方式理解世界。然而,世界的本质是非线性的。这个世界之所以有些人能取得巨大成功,而大部分人平平...……更多
AI探索宇宙结构新突破!超精准场级模拟,半秒完成冷暗物质仿真
...获宇宙学依赖性和宇宙结构形成的时间演化。 模拟器将线性位移场映射到特定红移处对应的非线性位移。模拟器是一个神经网络,包含对Ω和红移z处的线性增长因子D(z)的依赖性进行编码的样式参数。研究人员在六维N-body相空间...……更多
清华大学丘成桐团队合作推出高维数据非传统去噪新方法
...维数据时,传统的数据分析方法往往过分依赖于特征间的线性相关性。尽管这些线性方法能够简化数据的表示形式,但它们在捕捉数据中的复杂模式方面却显得力不从心。一个典型的例子是,高维数据往往聚集在低维流形附近,...……更多
通过图论直观解释线性代数原理,理解机器学习的数学原理
...的学科,它非常广泛,在许多领域都有各种各样的应用。线性代数是数学的一部分,理解和应用起来尤其困难。在我看来,关于线性代数的许多课程和开源工具都需要大量的计算。对于刚接触线代的新人来说,这可能是个问题。...……更多
长城基金雷俊:量化投资再开新局
...不错的短期机会。第三点是AI的赋能。传统量化投资中,线性思维容易导致模型错失有效的因子收益信息,在因子的挖掘端和合成端都欠缺非线性思维。而机器学习则能很好地构建非线性模型,扩展到文本、图像等非线性数据的...……更多
OpenCity大模型预测交通路况,零样本下表现出色,来自港大百度
...扩展的长期交通预测成为可能。在patch操作后,作者使用线性转换和正余弦位置编码PE以得到最终时空嵌入表征Er ∈ ℝ^(P×d),它被用于后续组件的输入,如下:时空上下文编码为了捕捉交通数据中固有的复杂时空模式,模型整合...……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
...现了高达10.6倍的速度提升,且这一提升几乎与GPU数量成线性关系。背后团队简单介绍一下提出PAB的团队成员,总共有4位。尤洋教授想必大家都比较熟悉了,清华计算机系硕士,UC伯克利博士,毕业后加入新加坡国立大学计算机...……更多
手机跑大模型提速4-5倍!微软亚研院开源新技术,有CPU就行
...。值得注意的是,T-MAC的计算性能会随着比特数的降低而线性提高,这一现象在基于反量化去实现的GPU和NPU中是难以观察到的。这进一步使得T-MAC能够在2比特下实现单核每秒10个token,四核每秒28个token,大大超越了NPU的性能。采...……更多
罗格斯大学团队提出思想链概念,提高大模型的算数推理能力
...题组还发现了大模型推理能力和推理步骤数量有着绝对的线性关系,在示范里推理步骤越多,最后模型做推理题或者逻辑题的正确率越高。这一能力可以解决一些问题,比如大家设计 prompt 的时候不会注意到步骤的问题,而本次...……更多
...控制。许多日常设备,如恒温器和巡航控制系统,都使用线性控制器。由于这些设备算法简单,所以很难控制复杂行为(例如混沌)系统。因此,自动驾驶汽车等先进设备通常依赖基于机器学习的控制器。研究的主要作者、俄亥...……更多
烟熏食品危害健康?通过控制温度改变其物质生成!
...度的升高而显著增加,羰基物质类别与温度升高呈中等正线性Pearson相关性。仅对于呋喃类物质,未发现与温度的线性关系。图3. 通过Pearson线性相关分析得到的热解温度与物质类别之间的相关矩阵。 本研究所采用的热解温度对...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
...整个数据集,然后按照此前 OLMo 论文中的方法,将学习率线性衰减到 0。 自适应论文作者从指令调优和偏好调优两方面,基于之前的开放模型,构造了 OLMoE-1B-7B-INSTRUCT。在指令调优集中,他们增加了更多的代码和数学数据,以...……更多
震荡市量化基金“能扛能打” 富国致航量化即将结束募集
...资的决胜因素。同时,AI的引入改变了传统量化只能通过线性的方式看待规律的角度,采用非线性的方式,极大提升了模型自适应的能力。可以说人工智能模型为主动量化基金注入了“灵魂”,而正在发行的富国致航量化就采用...……更多
《苏堤春晓》:“杭人”苏轼的非线性人生
...代价值?如何以现代的舞台语汇表现宋代的文化气韵?非线性叙事《苏堤春晓》一改传统历史剧的叙事方式,以非线性叙事方式结构全剧,以艺术主题的逻辑取代了线性的叙事时间发展逻辑。比如,戏的开端是苏轼反对王安石变...……更多
鼎智科技:国内微特电机龙头,有望受益人形机器人产业链风起
...微特电机龙头,成长性优异公司主营微特电机,产品包括线性执行器、混合式步进电机、直流电机、音圈电机四大类,主要应用于医疗器械及工业自动化板块。公司产品定位中高端,线性执行器为行业领先产品,呼吸机配套音圈...……更多
值得收藏!2023 年,你应该知道的所有机器学习算法~
...更好地理解某个模型的自变量和因变量之间的关系。算法线性/逻辑回归:对因变量和一个或多个自变量之间的线性关系进行建模的一种统计方法——可用于了解基于t-检验和系数的变量之间的关系。决策树:一种机器学习算法,...……更多
...国立大学仇成伟教授、郭强兵博士等合作,在二维材料非线性量子光源研究中取得重大突破——首次实现超薄的量子光源,厚度可低至46纳米。据介绍,这是目前国际报道的最薄非线性量子光源。研究成果近日发表于国际著名学...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...衡专家之间的负载。此外,作者还考虑了分层缩放方法,线性增加Transformer块的宽度(即注意力层和前馈层中的隐藏层尺寸)。由于视觉模型中的更深层倾向于学习更复杂的特征,因此在更深层中使用更多的参数将带来更好的性...……更多
我国新能源系统控制领域杰出带头人
...量装备无变压器“电直联”技术路线,创新新能源并网非线性控制架构及变增益控制理论方法,为解决新能源可靠并网控制难题提供了中国方案。他还突破降本增效大容量化技术瓶颈,攻克“变步长寻优”最大功率发电技术、光伏逆...……更多
大数据分析方法在期末考试成绩分析中的运用
...,模型拟合度较高。接下来,我们使用Anova检验评估一元线性回归方程的有效性,结果如下表: 根据Anova检验结果,回归方程是有效的。该结果表明回归模型中的回归项具有较强的解释观测数据的能力,并且残差平方和相对较小...……更多
人工智能数学基础:解锁智能世界的十大密钥
...、几何、概率论等基础知识,以及大学数学中的微积分、线性代数、数学分析等进阶知识。这些数学工具将贯穿于人工智能的各个领域,为后续的学习打下坚实的基础。第二步:理解统计与概率人工智能中很多算法都是基于统计...……更多
本田混合动力汽车电池维护常识
...度放电,损坏电池组;混合动力汽车速度快,速度增加的线性噪声小。然而,频繁的快速加速会导致电池的巨大损耗,频繁的迅速放电会降低电池的寿命。混合动力汽车的主要目的是冷却车内的空气,因此冷却通道必须保持畅通...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...最近被证明在大型语言模型中优于典型 transformer。该方法线性增加 transformer 块的宽度,即注意力层和前馈层的隐藏层维度。因此,网络中较深的层比较早的层被分配了更多的参数。作者认为,由于视觉模型中的较深层往往能学...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...很慢,因为梯度更新的次数与网络中可学习参数的数量成线性比例,这给扩展带来了巨大挑战。通过物理动力学进行梯度下降训练梯度下降优化是最先进的机器学习系统的主力,与基于GPU的神经网络训练相比,这类方法有可能带...……更多
氯甲烷压缩机维修,工业冷冻盐水机组维修,透平式氯气液化机组维修
...。以理论上讲,在此范围内,灵敏度保持定值。传感器的线性范围越宽,则其量程越大,并且能保证一定的测量精度。在选择传感器时,当传感器的种类确定以后首先要看其量程是否满足要求。但实际上,任何传感器都不能保证...……更多
更多关于科技的资讯:
湖南卫视惊喜重映《哪吒闹海》:他依然是那个勇敢无畏的少年
2月15日消息,湖南卫视重映经典国产动画《哪吒闹海》,引发广泛关注。湖南卫视官微表示,从《哪吒闹海》到《哪吒之魔童闹海》
2025-02-15 23:53:00
男子奔丧后精神异常认不出妻儿:确诊病毒性脑膜炎
2月16日消息,据媒体报道,王先生回老家为母亲奔丧后,突然出现胡言乱语、幻听幻视、无法识别数字等情况,甚至连妻儿和亲兄弟都不认识了
2025-02-16 00:23:00
《哪吒2》破百亿:小区摆千人坝坝宴
2月16日消息,据媒体报道,成都一小区摆起了千人坝坝宴,有居民表示,他们借此机会共同庆祝《哪吒2》票房突破百亿元。该小区业主称
2025-02-16 00:53:00
“科技人员要在市场中画图、在用户中画图、在现场中画图。”这是太重集团对创新工作的重要要求。为做好落实工作,太重集团全面开展青年科技人员深入用户现场
2025-02-16 07:29:00
大升级!微信内测接入DeepSeek-R1
快科技2月15日消息,多位网友在社交平台上发布截图,微信正在小范围灰测接入DeepSeek-R1,有部分用户已经内测到了相关AI搜索功能
2025-02-15 23:23:00
印度宣布要加速研发五代战机:俄罗斯送大礼引围观 欲转让苏-57技术
2月15日消息,据国外媒体报道称,俄罗斯打算转让自己的技术,让印度可以自行生产苏-57战斗机。报道中提到,俄方提议可以在印度生产苏-57战斗机
2025-02-15 16:53:00
《美国队长4》豆瓣开分仅5.4分:无聊得让人直打瞌睡
2月15日消息,《美国队长4》豆瓣开分仅5.4分。截至发稿,共有14336人进行了打分,其中超过83%的观众给出了3星及以下评价
2025-02-15 16:53:00
骏强智能携手智能大屏 IPTV 重磅登陆 2025 春节联欢
当璀璨烟花点亮守岁夜空,当万家灯火映照团圆笑靥,亿万中华儿女正通过智能大屏共享这场年度文化盛宴。2025年中央广播电视总台春节联欢晚会的璀璨舞台上
2025-02-15 16:56:00
OPPO首款磁吸编织数据线来了:用完自动缠绕 主打一个优雅
快科技2月15日消息,今天OPPO宣布,旗下首款磁吸编织数据线将于2月20日19点发布。这款数据线采用磁吸设计,长度1米
2025-02-15 17:23:00
升维高考院重新定义高考:叶锋博士为教育改革提供了新的思路
在中国教育领域,高考始终是一个无法回避的话题。每年六月,这场考试都牵动着数百万家庭的心。然而,在108度公益基金会叶锋博士看来
2025-02-15 18:11:00
何小鹏为三对小鹏MONA车主证婚:现场见证新人领证
快科技2月15日消息,在情人节当天,何小鹏来到民政局当证婚人,现场见证三对小鹏MONA车主领证结婚,何小鹏还送上祝福:祝愿他们夫妻恩爱
2025-02-15 18:23:00
产业一线 |失去的右手回来了!脑机接口等待“特斯拉时刻”
中新经纬2月15日电 (林琬斯)“00后”周键脱下智能仿生手后,中新经纬看到,他穿戴的接受腔(连接身体和假肢的部分)内
2025-02-15 18:49:00
互联网迷惑行为:女生一小时两度上演“卡凳杀”
快科技2月15日消息,近日,网络上又现“迷惑行为”新例。起初,众人还以为是有人不慎被“封印”,未曾想竟是在网上流行起来的“塑料凳套头”挑战
2025-02-15 18:53:00
DeepSeek翻译“他强任他强 清风拂山岗”等:网友看完就问老外服不服
2月15日消息,据国内媒体报道称,我国外交部长王毅最近的发言中,引用了多句中国古语,其中还包括中国武侠泰斗金庸先生在小说里曾写到的两句话
2025-02-15 18:53:00
华为最强小折叠!曝华为Pocket 3最快3月登场
快科技2月15日消息,博主定焦数码爆料,华为Pocket 3预计在3月底4月初登场,这款新品将会和华为智能手表一起发布
2025-02-15 19:23:00