• 我的订阅
  • 头条热搜
谷歌deepmind公布ai模型训练法
...学能力更强的AI模型。谷歌DeepMind使用PaLM2模型进行测试,研究人员建立了专用“代码池”,使用代码形式为模型输入一系列问题,并设置了评估器流程,之后模型便会在每一次迭代中,自动从代码池中挑选问题,生成“具有创造...……更多
...,通常依赖于把监督微调(SFT)这个环节。在这个阶段,研究人员会使用大量已标注的数据对预训练的AI模型进行进一步训练。这些数据包含了问题及其对应的正确答案,以及如何建立思考步骤的范例。靠着这些模仿人类思维的...……更多
李飞飞团队“50美元”复现DeepSeek R1?真相是…
...广泛关注。据报道,李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用,成功训练出了一个名为s1的人工智能推理模型。该模型在数学和编码能力测试中的表现,据称与OpenAI的O1和DeepSeek的R1等尖端推理模型...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
...训练模型之间的表现,后者是一个*大14倍的预训练模型。研究人员考虑了在两种模型中都预期会有 tokens的预训练和 tokens的推理。可以看到,在修订场景中(右上),当 << 时,测试阶段的计算通常优于额外的预训练。然而,...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\'24
...导致过拟合,从而影响其原始性能。为了解决上述问题,研究人员期望探索更有效的检索和即时编辑方式,以及对模型进行更小的干预,以避免在编辑数据集上过度拟合。 模型方法知识编辑相关背景在本文中,研究团队首先形...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
...?OpenAI则极力否认AI模型训练面临瓶颈。作为应对,OpenAI研究人员正在探索一项“测试时计算”(training runs)的技术。十几位AI科学家、研究人员和投资者告诉路透社,他们认为正是这些技术,推动了OpenAI发布o1模型。所谓测试...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...模型与相似的体积大 10 倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP...……更多
成本不到150元!26分钟训出个推理模型 媲美o1和R1
...1团队的目标是寻找到Test-time Scaling的简单方法。过程中,研究人员先构建了一个1000个样本的数据集,名为s1K。起初,在遵循质量、难度、多样性原则的基础上,这个数据集收集了来自MATH、AGIEval等诸多来源的59029个问题。经去重...……更多
与OpenAI o1技术理念相似,TDPO-R算法有效缓解奖励过优化问题
...武汉大学、悉尼大学、京东探索研究院和南洋理工大学的研究人员便在ICML 2024上发表了一项 “扩散模型对齐” 方向的研究,所提出的名为TDPO-R 的强化学习算法与 o1 不谋而合地也采用了细粒度奖励机制。论文链接:https://openrevie...……更多
大模型时代结束?大佬齐预测:AI模型或需先缩小规模,才能再次扩大规模
...人工智能系统如何从更少的数据中学到更多的东西。微软研究人员在开发Phi模型时也做出了相同的判断,Hugging Face AI研究人员也同意对于高质量数据集的追求,并发布了高质量的训练数据集。这意味着一味扩张不再是科技巨头们...……更多
清华团队提出新型光计算架构,光训练速度提升1个数量级
...,极大地限制了光训练的规模和效率。为解决上述问题,研究人员提出了正反互易和光学共通的解决思路。·正反互易:全前向智能光计算训练架构。受物理学对称性的启发,研究人员建立了“空间互易-时间反演”的双对称光传...……更多
ai绘画侵权实锤,扩散模型可能记住你的照片
...了弄清楚扩散模型到底能不能记忆和再生个体训练样本,研究人员首先提出了“记忆”的新定义。一般来说,关于记忆的定义集中在文本语言模型上,如果可以提示模型从训练集中恢复一个逐字序列,就表示这个序列被提取和记...……更多
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念「对齐」人类
...能导致了这些模型的前述弱点? 最近,DeepMind等机构的研究人员联合发布了一篇长达50页的论文,提出了一个可能导致AI模型与人类表现存在差异的原因:人类概念知识是从精细到粗尺度进行分层组织的,而深度学习模型表征无...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...习社区分享我们在大型语言模型方面的成果,为提高全球研究人员和开发人员的可访问性和效率做出贡献。”事实上,大型语言模型训练是一个耗时且资源密集的过程。在大型语言模型训练期间,开发人员必须有效管理三种主要...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...又搞出了有意思的研究:来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(M...……更多
Nature封面:AI训AI 越训越傻
...练AI,可能会让AI变傻?!来自牛津、剑桥等学校机构的研究人员最新发现,使用合成数据训练,大模型可能会崩溃。其研究成果被选为最新的Nature封面。直接一个:GARBAGE OUT!要知道,现在绝大部分科技公司的大模型都在用合成...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...者之间的数据传输速度较低。由于看到了这些性能限制,研究人员对可替代当前AI系统的其他计算平台重新产生了兴趣,例如光学、光子学和模拟电子学。论文将这些非常规计算平台统称为PNN,指代利用物理系统的属性执行计算...……更多
谢赛宁新作:表征学习有多重要?一个操作刷新SOTA,DiT训练速度暴涨18倍
...表征学习?这需要更进一步地观察模型才能确定,为此,研究人员测量并比对了diffusion transformer和当前的SOTA自监督模型DINOv2之间的表征差距,包括语义差距和特征对齐两种角度。语义差距从图2a可知,预训练SiT的隐藏层表示在第...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
...信息存不进来了。——这俩问题明显不是RNN的锅。而经过研究人员的对症下药,Mamba-2(370M)在256K上下文长度上达到了近乎完美的密钥检索精度。所以结论就是,Mamba yes!「RNN神教」前景一片光明!对此,Mamba的作者Albert Gu点赞...……更多
谷歌员工曝AI改进速度放缓,Gemini已成立新团队解决问题
...该公司希望模型性能提升的速度可以与去年相当,这促使研究人员专注于其他方法来勉强取得效果。这种情况和OpenAI的遭遇类似。此前有报道称,OpenAI模型性能提升速度有所放缓,该公司正改变技术策略来解决问题。回到谷歌本...……更多
OpenAI GPT-4 AI 模型无需额外训练可通过日本理疗师考试
...40 道实践题,测试记忆、理解、应用、分析和评估能力。研究人员在 GPT-4 中输入了 1000 个问题,并将答案对比了官方解决方案。GPT-4 通过了所有五个测试部分,正确回答了 73.4% 的问题。不过,人工智能在处理技术性问题和包含...……更多
如何让“机器不学习”?学会“遗忘”将使新一代AI更出色
...蔽相关数据的策略。例如,微软和美国俄亥俄州立大学的研究人员在用于训练模型的数据中引入了噪音,使大模型随后输出的信息由数据中更泛化的模式,而不是特定的、可识别的例子所决定。这从理论上保证了大模型不会透露...……更多
遗憾不?百度早研究过Scaling Law,Anthropic CEO灵感都来自百度
...和模型大小 scaling 的重要意义。对于深度学习从业人员和研究人员来说,学习曲线可以帮助调试模型,并为改进的模型架构预测准确性目标。 百度的研究者在论文中表示,他们的研究结果表明,我们有机会加倍努力,从理论上...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...重大突破,通过使用与架构和网络无关的分布式优化器,研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍!如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引...……更多
o1金牌团队揭秘AI超越人类惊人时刻!22分完整版视频全公开
...一个推理模型,也就是会比以往「思考」得更多。在OpenAI研究人员看来,「思考」就是推理的一种最直观的方式。有时候,当被问及意大利首都是什么问题时,我们几乎不用思考,即刻就能得出答案。但有时候,涉及商业企划书...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...一些热门搜索词来对前者进行补充。第二步,问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻,将新闻内容进行切分,得到多个内容片段。然后要求GPT根据内容片段自问自答,得到在第三步图像分配阶...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比,并根据总结出的优势和劣势,提出了一种全新架构,提升了模型的训...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...量参数进行训练来解决这些缺陷。 微调可能有益的原型研究人员将以下场景确定为可从微调中受益的常见用例:- 语气、风格、形式定制:使用案例可能会寻求反映特定角色或服务特定受众的LLM。通过使用定制数据集对LLM进行...……更多
综合RLHF、DPO、KTO优势,统一对齐框架UNA来了
...论基础UNA 的理论基础源于对 RLHF 目标函数的重新推导。研究人员证明,给定 RLHF 的经典目标函数,最优策略可以通过一个隐式的奖励函数来诱导。该隐式奖励函数是策略模型与参考策略之间的对比结果,通过这个函数,UNA 能够...……更多
更多关于科技的资讯:
厦门网讯(厦门日报记者 张珺 通讯员 吴冰冰)我市跨境电商生态再添新支点,日前,POD(按需定制)专卖孵化平台公司正式落户银城智谷海熹跨境电商产业园
2025-11-25 08:11:00
AI赋能千行百业一线故事(十七):这位“农事专家”,让种地更聪明
这位“农事专家”,让种地更聪明——AI赋能千行百业一线故事(十七)11月14日,雄安新区都市农业科技博览园温室大棚内,工作人员查看番茄长势
2025-11-25 08:41:00
荣耀加冕!锦程酒管多店荣登消费者喜爱榜-2025年中国高端酒店100强
2025 年 11 月 20 日-21日—— 在备受文旅与酒店行业瞩目的 “2025 迈点文旅节・第七届迈点酒店运营创新大会” 上
2025-11-25 09:25:00
苏河汇一站式解决方案破解电商企业合规难题,驱动行业发展
2025年“双十一”收官,中国电商行业持续稳健增长,行业生态也迎来深刻演进。各大平台已从流量竞争转向全域生态协同,“双十一”形态亦呈现“简-繁-简”的演变
2025-11-25 09:25:00
治污攻坚 | 天宁:伊顿与黑牡丹的“近零碳”之路引领工业绿色未来
2025年,在常州市工信局公示的近零碳工厂名单中,伊顿电力设备有限公司和黑牡丹纺织有限公司两家企业相继成功入选。根据常州市的标准
2025-11-25 10:16:00
人工智能技术的深度嵌入,正重塑人才培养逻辑与知识范式,高等教育人才培养体系面临着前所未有的挑战。“数字创业自我效能驱动创业意向(DESE-EI)模型及边界条件研究(24A0450)”课题组研究认为
2025-11-25 10:31:00
常机电方案 | 深耕教材建设“试验田” 打造产教融合教材新范式
当传统职教教材还在讲述已被淘汰的技术时,常州机电职业技术学院的学生们手中,正翻动着源自理想汽车生产线的最新案例集。在近日落幕的2025年国家教材建设重点研究基地学术论坛上
2025-11-25 10:55:00
“温暖科技”升维竞争,米连科技让伊对算法拥有温度
在算法主导的数字时代,科技与人文的平衡正成为衡量企业创新深度的新标尺。当大多数科技公司仍在追求极致的算法效率时,米连科技通过旗下情感社交平台伊对
2025-11-25 10:55:00
四川托普学院“人工智能训练师定向班”进阶企业实战阶段
近日,四川托普信息技术职业学院信息工程学院与山西数智科云科技服务有限公司共建的“人工智能训练师定向培养班”取得重要进展
2025-11-25 13:57:00
Ria Flow睿晰声誉管理全场景Agent正式启动内测,AI驱动行业智能化变革
近日,由大观传播、市场部网与公关行三方联合研发的Ria Flow睿晰——声誉管理全场景Agent,正式启动内部测试。作为一款深度整合行业经验与AI技术的智能工具
2025-11-25 14:57:00
江南时报讯 高新技术企业总数453家,平均每5天就有一家高新技术企业破土而出。规上工业企业研发投入较“十三五”末增长58%
2025-11-25 15:09:00
新加坡国家AI计划放弃Meta模型 转向阿里千问
11月25日消息,据新加坡媒体报道,新加坡国家人工智能计划(AISG)正在进行一次重大战略调整,在其最新的东南亚语言大模型项目中
2025-11-25 15:52:00
载体筑基 产业聚链 连云港海州区招商磁场持续增强
试运营即实现85%可租赁面积入驻,科创飞地孵化101家创新企业……连日来,海州区载体招商捷报频传。华欧科技产业园、连云港玉兰高新创业园等一批特色载体多点开花
2025-11-25 15:55:00
——解码全场景智慧服务生态的进化之路当人工智能重构交易链路、区块链穿透信任壁垒、大数据预判人居需求,房地产互联网平台正经历一场从“信息中介”到“智慧服务商”的质变
2025-11-25 16:09:00
一、引言随着数字技术、绿色经济与平台生态的深度融合,新经济环境已呈现“要素重构、生态重塑、约束强化、风险常态化”的特征
2025-11-25 16:16:00