• 我的订阅
  • 头条热搜
谷歌deepmind公布ai模型训练法
...学能力更强的AI模型。谷歌DeepMind使用PaLM2模型进行测试,研究人员建立了专用“代码池”,使用代码形式为模型输入一系列问题,并设置了评估器流程,之后模型便会在每一次迭代中,自动从代码池中挑选问题,生成“具有创造...……更多
...,通常依赖于把监督微调(SFT)这个环节。在这个阶段,研究人员会使用大量已标注的数据对预训练的AI模型进行进一步训练。这些数据包含了问题及其对应的正确答案,以及如何建立思考步骤的范例。靠着这些模仿人类思维的...……更多
李飞飞团队“50美元”复现DeepSeek R1?真相是…
...广泛关注。据报道,李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用,成功训练出了一个名为s1的人工智能推理模型。该模型在数学和编码能力测试中的表现,据称与OpenAI的O1和DeepSeek的R1等尖端推理模型...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
...训练模型之间的表现,后者是一个*大14倍的预训练模型。研究人员考虑了在两种模型中都预期会有 tokens的预训练和 tokens的推理。可以看到,在修订场景中(右上),当 << 时,测试阶段的计算通常优于额外的预训练。然而,...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\'24
...导致过拟合,从而影响其原始性能。为了解决上述问题,研究人员期望探索更有效的检索和即时编辑方式,以及对模型进行更小的干预,以避免在编辑数据集上过度拟合。 模型方法知识编辑相关背景在本文中,研究团队首先形...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
...?OpenAI则极力否认AI模型训练面临瓶颈。作为应对,OpenAI研究人员正在探索一项“测试时计算”(training runs)的技术。十几位AI科学家、研究人员和投资者告诉路透社,他们认为正是这些技术,推动了OpenAI发布o1模型。所谓测试...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...模型与相似的体积大 10 倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP...……更多
成本不到150元!26分钟训出个推理模型 媲美o1和R1
...1团队的目标是寻找到Test-time Scaling的简单方法。过程中,研究人员先构建了一个1000个样本的数据集,名为s1K。起初,在遵循质量、难度、多样性原则的基础上,这个数据集收集了来自MATH、AGIEval等诸多来源的59029个问题。经去重...……更多
与OpenAI o1技术理念相似,TDPO-R算法有效缓解奖励过优化问题
...武汉大学、悉尼大学、京东探索研究院和南洋理工大学的研究人员便在ICML 2024上发表了一项 “扩散模型对齐” 方向的研究,所提出的名为TDPO-R 的强化学习算法与 o1 不谋而合地也采用了细粒度奖励机制。论文链接:https://openrevie...……更多
大模型时代结束?大佬齐预测:AI模型或需先缩小规模,才能再次扩大规模
...人工智能系统如何从更少的数据中学到更多的东西。微软研究人员在开发Phi模型时也做出了相同的判断,Hugging Face AI研究人员也同意对于高质量数据集的追求,并发布了高质量的训练数据集。这意味着一味扩张不再是科技巨头们...……更多
清华团队提出新型光计算架构,光训练速度提升1个数量级
...,极大地限制了光训练的规模和效率。为解决上述问题,研究人员提出了正反互易和光学共通的解决思路。·正反互易:全前向智能光计算训练架构。受物理学对称性的启发,研究人员建立了“空间互易-时间反演”的双对称光传...……更多
ai绘画侵权实锤,扩散模型可能记住你的照片
...了弄清楚扩散模型到底能不能记忆和再生个体训练样本,研究人员首先提出了“记忆”的新定义。一般来说,关于记忆的定义集中在文本语言模型上,如果可以提示模型从训练集中恢复一个逐字序列,就表示这个序列被提取和记...……更多
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念「对齐」人类
...能导致了这些模型的前述弱点? 最近,DeepMind等机构的研究人员联合发布了一篇长达50页的论文,提出了一个可能导致AI模型与人类表现存在差异的原因:人类概念知识是从精细到粗尺度进行分层组织的,而深度学习模型表征无...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...习社区分享我们在大型语言模型方面的成果,为提高全球研究人员和开发人员的可访问性和效率做出贡献。”事实上,大型语言模型训练是一个耗时且资源密集的过程。在大型语言模型训练期间,开发人员必须有效管理三种主要...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...又搞出了有意思的研究:来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(M...……更多
Nature封面:AI训AI 越训越傻
...练AI,可能会让AI变傻?!来自牛津、剑桥等学校机构的研究人员最新发现,使用合成数据训练,大模型可能会崩溃。其研究成果被选为最新的Nature封面。直接一个:GARBAGE OUT!要知道,现在绝大部分科技公司的大模型都在用合成...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...者之间的数据传输速度较低。由于看到了这些性能限制,研究人员对可替代当前AI系统的其他计算平台重新产生了兴趣,例如光学、光子学和模拟电子学。论文将这些非常规计算平台统称为PNN,指代利用物理系统的属性执行计算...……更多
谢赛宁新作:表征学习有多重要?一个操作刷新SOTA,DiT训练速度暴涨18倍
...表征学习?这需要更进一步地观察模型才能确定,为此,研究人员测量并比对了diffusion transformer和当前的SOTA自监督模型DINOv2之间的表征差距,包括语义差距和特征对齐两种角度。语义差距从图2a可知,预训练SiT的隐藏层表示在第...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
...信息存不进来了。——这俩问题明显不是RNN的锅。而经过研究人员的对症下药,Mamba-2(370M)在256K上下文长度上达到了近乎完美的密钥检索精度。所以结论就是,Mamba yes!「RNN神教」前景一片光明!对此,Mamba的作者Albert Gu点赞...……更多
谷歌员工曝AI改进速度放缓,Gemini已成立新团队解决问题
...该公司希望模型性能提升的速度可以与去年相当,这促使研究人员专注于其他方法来勉强取得效果。这种情况和OpenAI的遭遇类似。此前有报道称,OpenAI模型性能提升速度有所放缓,该公司正改变技术策略来解决问题。回到谷歌本...……更多
OpenAI GPT-4 AI 模型无需额外训练可通过日本理疗师考试
...40 道实践题,测试记忆、理解、应用、分析和评估能力。研究人员在 GPT-4 中输入了 1000 个问题,并将答案对比了官方解决方案。GPT-4 通过了所有五个测试部分,正确回答了 73.4% 的问题。不过,人工智能在处理技术性问题和包含...……更多
如何让“机器不学习”?学会“遗忘”将使新一代AI更出色
...蔽相关数据的策略。例如,微软和美国俄亥俄州立大学的研究人员在用于训练模型的数据中引入了噪音,使大模型随后输出的信息由数据中更泛化的模式,而不是特定的、可识别的例子所决定。这从理论上保证了大模型不会透露...……更多
遗憾不?百度早研究过Scaling Law,Anthropic CEO灵感都来自百度
...和模型大小 scaling 的重要意义。对于深度学习从业人员和研究人员来说,学习曲线可以帮助调试模型,并为改进的模型架构预测准确性目标。 百度的研究者在论文中表示,他们的研究结果表明,我们有机会加倍努力,从理论上...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...重大突破,通过使用与架构和网络无关的分布式优化器,研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍!如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引...……更多
o1金牌团队揭秘AI超越人类惊人时刻!22分完整版视频全公开
...一个推理模型,也就是会比以往「思考」得更多。在OpenAI研究人员看来,「思考」就是推理的一种最直观的方式。有时候,当被问及意大利首都是什么问题时,我们几乎不用思考,即刻就能得出答案。但有时候,涉及商业企划书...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...一些热门搜索词来对前者进行补充。第二步,问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻,将新闻内容进行切分,得到多个内容片段。然后要求GPT根据内容片段自问自答,得到在第三步图像分配阶...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比,并根据总结出的优势和劣势,提出了一种全新架构,提升了模型的训...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...量参数进行训练来解决这些缺陷。 微调可能有益的原型研究人员将以下场景确定为可从微调中受益的常见用例:- 语气、风格、形式定制:使用案例可能会寻求反映特定角色或服务特定受众的LLM。通过使用定制数据集对LLM进行...……更多
综合RLHF、DPO、KTO优势,统一对齐框架UNA来了
...论基础UNA 的理论基础源于对 RLHF 目标函数的重新推导。研究人员证明,给定 RLHF 的经典目标函数,最优策略可以通过一个隐式的奖励函数来诱导。该隐式奖励函数是策略模型与参考策略之间的对比结果,通过这个函数,UNA 能够...……更多
更多关于科技的资讯:
从迷失到笃行:一位古贝春经销商的二十载商海沉浮与顿悟
鲁网11月27日讯(记者 赵洪斌)在鲁北商业版图上,王文俊的名字与古贝春酒业紧紧相连。然而,这段长达二十余年的合作关系
2025-11-28 08:45:00
近日,广东宇太能源与河北某工业玻璃龙头企业签约,合作利用空微子发电技术降低企业电耗。该项目由玻璃企业投资,宇太能源提供技术及设备支持
2025-11-28 08:57:00
罗振宇、张夕勇、杨慧林、罗军民四位大咖重磅推荐,杨钧博士《未来竞速》即将出版发行
百年汽车产业大变局的必读之作。近日,由国内汽车行业资深媒体人与研究观察者杨钧博士撰写的新书《竞速未来-全球新能源汽车的崛起与挑战》一书已由中国出版集团中译出版社正式出版发行
2025-11-28 09:27:00
近日,鹏华基金发布公告,旗下科创创业人工智能ETF鹏华 (认购代码:588413)于11月28日正式发行。作为首批双创人工智能ETF中的一员
2025-11-28 10:11:00
入选概率不及万分之二,阿里千问斩获顶级AI会议最佳论文
11月28日消息,人工智能领域顶级会议NeurIPS 2025公布了论文奖,阿里通义千问团队最新研究成果从全球2万多篇投稿论文中脱颖而出
2025-11-28 11:01:00
11月24日,位于启东市南阳镇的朗峰新材料启东有限公司生产车间内,自动化生产线高速运转,一条薄如蝉翼的银色金属带材从特制喷嘴中“飞”出
2025-11-28 11:05:00
济南轨道交通集团举办财务资本培训,实战专家孙春浩解析财务精英三级跃迁路径
近日,济南轨道交通集团全资子公司莱芜交通发展集团成功举办财务管理及融资业务培训。本次培训由集团财务管理部部长刘文芹主持
2025-11-28 11:09:00
锚定本土、驱动创新的金融实践!青岛银行荣膺CFV“最佳品牌竞争力城商行”奖项
11月21日,在上海举办的“2025第一财经金融价值年会”上,青岛银行凭借在科技金融、绿色金融、地方经济服务及创新能力方面的突出表现
2025-11-28 11:18:00
挂号缴费不用跑!微信医保移动支付在北京140家公立医院全面上线
近日,北京市参保市民就医迎来“智慧升级”——微信医保移动支付功能已在中国医学科学院、北京协和医院、北京大学人民医院等140家公立医院全面上线
2025-11-28 11:28:00
河北省煤田地质局物测队引入新装备提升探测能力
河北新闻网讯(吕若汐、齐彦红)11月18日,地球物理勘探设备供应商法国塞赛尔公司正式向河北省煤田地质局物测队交付了两套数字地震仪(激发系统)诺玛德65尼奥
2025-11-28 11:53:00
中新经纬11月28日电 北京市广电局网站消息,《北京市促进“人工智能+视听”产业高质量发展行动方案(2025-2029年)》(下称《行动方案》)近日发布
2025-11-28 11:57:00
均胜电子:定位“汽车+机器人Tier1”,双轮驱动进阶智能新时代
全球领先的智能汽车科技解决方案提供商均胜电子(600699.SH / 00699.HK)正以创新驱动和全球协同,在汽车电子
2025-11-28 12:15:00
严禁“带病运行”!河南就政务信息系统开发公开征求意见
大河网讯 为给非涉密政务信息系统的开发建设加上一把“安全锁”,规范全生命周期的安全管控工作,11月27日,省行政审批政务信息管理局起草了《非涉密政务信息系统开发安全管理指南(征求意见稿)》(以下简称《征求意见稿》)
2025-11-28 14:10:00
吉林机场集团门户网站二次升级 打造智慧出行服务新标杆
为持续优化用户体验、丰富服务维度,吉林省民航机场集团有限公司门户网站(https//www.jlairports.com)正式迎来二次重大升级
2025-11-28 14:41:00
商赢酱酒以文化赋能商务社交,重塑“场景思维”新体验
11月25日,一场以“商界链接创富圈层,共享‘商赢酱酒’杯中哲学,解锁中国式商务社交的‘心’语”为主题的交流会在济南成功举办
2025-11-28 14:55:00