• 我的订阅
  • 头条热搜
OpenAI超级对齐团队遗作:两个大模型博弈一番,输出更好懂了
如果 AI 模型给的答案一点也看不懂,你敢用吗?随着机器学习系统在更重要的领域得到应用,证明为什么我们可以信任它们的输出,并明确何时不应信任它们,变得越来越重要。获得对复杂系统输出结果信任的一个可行方法是...……更多
GPT-4批评GPT-4实现「自我提升」!OpenAI前超级对齐团队又一力作被公开
...一篇新论文——CriticGPT,而这也是前任超级对齐团队的「遗作」之一。CriticGPT同样基于GPT-4训练,但目的却是用来指正GPT-4的输出错误,实现「自我批评」。OpenAI最近的拖延症状逐渐严重,不仅GPT-5遥遥无期,前几天还宣布GPG-4o的...……更多
GPT-4o mini登顶大模型竞技场,奥特曼:两个月内微调免费
...,OpenAI还搞出了新鲜玩法——在“超级对齐”团队的一篇遗作中,使用了参数量为大模型千分之一或百分之一的小模型,来对大模型进行优化。 实验中,大小两个模型相互“博弈”,大模型需要不断优化调整自己的输出,让小...……更多
梦想当燃|浪潮云海若大模型团队:从“0”开始,前进不会止步
...局限性和实时性方面的问题,从而生成更准确、更丰富的输出结果。同时,团队也突破了提示工程技术,实现了精确引导大模型输出的能力,帮助大模型更准确地理解人类需求、生成更符合人类期望的结果。团队成员还突破了语...……更多
自我纠错如何使OpenAI o1推理能力大大加强?北大MIT团队理论解释
...[2]都采取了自我纠正的方法。传统的大语言模型,因为在输出答案的时候是逐个Token输出,当输出长度较长时,中间某些Token出错是必然发生。但即使LLM后来知道前面输出的Token错了,它也得用更多错误来“圆谎”,因为没有机制...……更多
重磅!国产AI写作模型比ChatGPT强1000%,360前员工AI团队取得重大突破
...成,最核心的优势在于可一键生成超20000字内容,长文本输出能力要比ChatGPT多10倍。今年上半年,Moonshot AI、阿里、360等一众大模型厂商纷纷开卷长文本,但这个“长文本”是指长文本处理能力,是 “喂进”大语言模型进行处理...……更多
将偏好学习引入模型训练,北大李戈团队提出代码生成优化新框架
...之间做出偏好选择。当采用SFT方法训练模型时,随着偏好输出的可能性增加,生成不理想输出的概率也随之上升,导致性能出现瓶颈。为解决这一问题,北京大学李戈教授团队与字节跳动合作,CodeDPO因此而生。该框架将偏好学...……更多
大模型集体失控!南洋理工新型攻击,主流AI无一幸免
...大模型的防御手段:有的防御机制只查输入,有的则check输出;有的只查关键词,但也有整句话意思都查的,等等。例如,作者们检查后发现,相比ChatGPT,Bing Chat和Bard的防御机制,会对大模型输出结果进行检查。相比“花样百...……更多
1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品
...码函数ϕ,当u和g的内积小于0时(即方向不一致),ϕ的输出为0向量;当内积大于等于0时,ϕ的输出为全1向量。而一旦ϕ为零向量时,w_t计算式中含u的项也会变为零向量,导致此项更新被跳过。这样就可以判断参数更新和梯度方...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...GPU小时(105-107个),并分布在多个GPU上进行。预训练的输出模型称为「基础模型」。继续预训练继续预训练(也称为第二阶段预训练)将使用全新的、未见过的领域数据进一步训练基础模型。 这里,同样使用与初始预训练相同...……更多
AI 3D生成天花板再拉升!清华团队炼成3D Scaling Law
...丢给模型一个俄罗斯复活节彩蛋图片作为输入,Tripo 2.0的输出效果最有“浮雕感”,对比来看,纹理细节都是最精致的:进行多次测试后,不难发现Tripo 2.0在全方位的生成表现上都有显著差异。 比如生成的PBR材质具有⾼保真度...……更多
零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR
... Self-Rewarding(CSR)框架通过自我增强学习,利用模型自身输出构造更可靠的偏好数据,结合视觉约束提高学习效率和准确性。多模态大模型展现出了多种多样的能力,这些能力都通过SFT和预训练从庞大的训练数据集中学习。但是...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...与人类的意图相对齐、研究如何通过不同对齐算法让模型输出更符合人类预期和价值观具有重要意义。该框架的独特之处在于:1)Align-Anything 框架支持文本、图像、音频、视频等多种模态的输入和输出对齐,这在目前开源社区...……更多
补齐Transformer规划短板又不放弃快速思考,Dualformer双重优势
...丢弃整个轨迹并鼓励 Transformer 绕过所有中间步骤,直接输出最终解答。在训练时,他们的策略是随机选择这些结构化的轨迹丢弃策略。前提准备他们的这项研究基于田渊栋团队之前的另一项研究《Beyond A*: Better planning with transform...……更多
NeurIPS 2024|水印与高效推理如何两全其美?最新理论:这做不到
...出了一个两次重加权框架,分别对草稿模型和目标模型的输出分布进行重加权。这个框架具有很高的自由度,两次重加权函数可以不同,验证算法也可以任意选择,只要满足最终算法保持输出概率分布,从而维持输出质量即可。...……更多
百度CTO王海峰:文心大模型的底色和成色
...多益善。为提升大模型的准确性,文心大模型4.0在输入、输出两个阶段都运用了知识点增强,具体做法为在输入端对用户输入的问题进行理解,并拆解所需的知识点,然后在搜索引擎、知识图谱、数据库中获取准确知识,最后把...……更多
“3D视频版Sora”来了!
...型的多视角视频生成。其输入为单个物体的单视角视频,输出为同一物体8个不同角度的多视角视频。据介绍,该模型以图生视频模型Stable Video Diffusion(SVD)为基础,实现了从图生视频到视频生视频的能力飞跃。具体运行时,用...……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...ion)的方法,能让模型像OpenAI-o1一样,通过内部“思考”输出更好答案,最终只显示结果,不展示思考过程。TPO将思维链式提示/推理融入训练中:在回答之前,用思维链式方法进行思考;使用一个LLM评判来评估响应(不包括由LL...……更多
打脸“AI灭绝伦”!研究反驳:大模型涌现能力不会威胁人类生存
...实验的准确性,他们还进行了偏见控制,通过调整提示和输出格式,确保非指令微调模型的公平性,并通过手动评估验证模型输出的准确性。 在实验中,研究人员采用 zero-shot 和少样本(few-shot)两种设置,重点分析了 GPT 的表...……更多
信号表征指数级强、内存节省35%,量子隐式表征网络
...个混合层和末端的线性层组成。该模型以坐标作为输入并输出信号值。数据最初进入混合层,从 Linear 层和 BatchNorm 层开始,得到:然后被输入到数据重新上传量子电路 QC 中。在图 2 (b) 和 (c) 中,我们给出了参数层和编码层量子...……更多
大模型越狱,价值百亿的猫鼠游戏|Future
...手机一样,绕过大模型本身的一些限制,可能误导大模型输出违法甚至是有害的内容。考虑到大模型正在广泛融入到人们的工作、学习和生活之中,越狱如果泛滥,将产生更多不可预测的连锁反应。对AI从业者来说,只有把越狱...……更多
LLM仍然不能规划,刷屏的OpenAI o1远未达到饱和
...测试的原始迭代没有考虑效率,因为 vanilla LLM 生成某些输出所花费的时间仅取决于该输出的长度,而与实例的语义内容或难度无关。不过作者也对各个模型的提示成本进行了比较,如表格 4 所示。 从近似检索到近似推理:评估...……更多
「学术版ChatGPT」登场!Ai2打造科研效率神器OpenScholar,让LLM帮你搞定文献综述
...会检索相关段落,并使用迭代式自反馈的生成方法来优化输出;搭配的专门基准ScholarQABench旨在对开放式科学问答进行现实且可重复的评估。OpenScholar概述、ScholarQABench概述和自动化&人类专家评估结果模型概述对于OpenScholar而...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
...行Python代码,并从结果中迭代学习,直到达到所需的最终输出。执行沙盒不连接互联网,并标配一些数值库,开发者只需根据模型的输出token进行计费。这是谷歌在模型功能中首次引入代码执行的步骤,今天即可通过Gemini API和Goo...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...当用户额外输入一张纯色无关图片时,模型按照用户要求输出了虚假新闻。这意味着多模态大模型相比大语言模型,有着更多的风险挑战。除了这两个例子以外,多模态大模型还存在幻觉、偏见、隐私泄漏等各类安全威胁或社会...……更多
星环科技Sophon 3.2发布,通过“六易三仓两中心”实现新一代AI平民化
...方位监控,同时从模型预测性能、模型可解释、模型输入输出偏移等方面提供多维度的评估,让模型易管理,全面掌握模型服务运行状态;* 效果“易”迭代:提供MLOps模块,支持可视化持续训练pipeline,让模型迭代时,模型效果...……更多
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...型深度模型训练后仅适合单一任务和场景,具有固定输入输出长度,适配的变量数等难以泛化的性质,难以像大语言模型一样,适用于各类下游任务,例如T5,LLaMA和BLOOM等。 (3)可扩展性:大模型关键特征之一在于Scaling Law:...……更多
给机器人装上大模型大脑,「若愚科技」获超5000万天使轮融资|36氪首发
...大模型可以支持文本、图片、 音频、视频多模态输入和输出 。目前,若愚·九天多模态大模型已经在垂直领域进行了细分应用。若愚科技打造的机器人大脑产品 若愚·九天大模型也针对机器人应用场景进行了专门的训练。“若...……更多
自动化、可复现,基于大语言模型群体智能的多维评估基准
...受欢迎的基准测试是 Chatbot Arena,它通过收集用户对模型输出的偏好来对 LLM 进行综合排名。然而,随着 LLM 逐渐落地于众多应用场景,无论是针对工业生产目标,还是科学场景辅助需求,评估 LLM 在精细化维度上的能力都是至关...……更多
科学家提出大模型分子交互学习框架,已在400多万分子对中验证
...的、无需深度学习基础和生化知识先验的统一型分子交互输出平台。这意味着,通过进一步地收集和吸纳数量更多的、覆盖面更广的分子交互任务,MolTC 可以显式地、高效地学习通用的分子交互底层范式和机制,从而更精确地把...……更多
更多关于科技的资讯:
药易购亮相第18届成长大会,展示数智医药生态力量
2024年11月24上午,由中国医药物资协会主办的第18届中国成长型医药企业发展大会在厦门佰翔会展中心隆重启幕。药易购作为中国医药物资协会荣耀会长单位
2024-11-29 11:00:00
得物App“国潮游园会”正式启动,100+品牌彰显中式底蕴
近年来,国潮消费呈现出前所未有的蓬勃态势。95后、00后作为国潮国货消费的主力军,通过穿着、使用国潮产品,来彰显自己的文化身份与审美趣味
2024-11-29 11:02:00
11月28日,1500余名浙商代表相聚第七届世界浙商大会,政企之间坦诚探讨,企业家间互动交流,热烈的氛围传递在会场内外
2024-11-29 08:47:00
本文转自:人民网-观点频道詹新惠当下,“AI伴侣”火热,市面上目前已有100多款由AI驱动的应用程序。这些“AI伴侣”以智能交互的魅力走进人们的生活
2024-11-29 08:50:00
强化安全责任意识,传音开展第四届信息及隐私安全文化宣传周活动
为了让信息及隐私安全责任意识深入每一位员工心中,传音连续多年开展信息及隐私安全文化宣传活动。11月4日至15日,传音控股第四届信息及隐私安全文化宣传周活动(以下简称“传音安全周”)在重庆
2024-11-29 09:00:00
高新区(科技园):乘“数”而上,逐浪前行
从企业集聚到产业集聚,从传统广告到拥抱数字化,从引进龙头企业到引进产业链上下游企业……位于南京市建邺区的高新区(科技园)
2024-11-29 09:00:00
Steam Deck清仓促销
作为Steam秋季促销的一部分,Steam掌机512GB LCD型号现以336.75美元的价格打折出售,较原价便宜了112美元
2024-11-29 09:03:00
清华校花网络走红被赞叹:这就是神仙妹妹
11月29日消息,近日,清华大学日新书院的学生彭弋航在网上火了,甚至被称为是神仙妹妹。最近,40名国内大学生外出进行交流
2024-11-29 09:03:00
11月28日从山西大学传来好消息,2024全球大学生超算竞赛总决赛在美国亚特兰大刚刚落幕,作为世界三大超算赛事之一,本届竞赛总决赛吸引了世界顶尖高校队伍参赛
2024-11-29 09:13:00
中国石油发布700亿参数昆仑大模型建设成果
11月28日,以“AI领航·智绘能源”为主题的700亿参数昆仑大模型建设成果发布会在京举办,标志着中国石油在人工智能领域又迈出坚实一步
2024-11-29 09:25:00
数读中国丨5组数字读懂我国医保发展“增量”密码
本文转自:人民网
2024-11-29 09:27:00
所有品牌销量均下滑!广汽为何卖不动了
“没钱赚、没有效益,企业不可以生存,没有企业能亏几百亿!”今年6月,广汽集团董事长曾庆洪公开痛批汽车行业内卷,试图引起行业共鸣
2024-11-29 09:33:00
11月26日,第二届中国国际供应链促进博览会(以下简称链博会)在北京中国国际展览中心开幕。中信集团以“链动星海 质引未来”为主题
2024-11-29 09:39:00
今年以来,肥乡联社紧紧围绕省联社提出的 “经营转型” 战略部署,牢固树立 “存款立行” 的核心经营理念,借助精细化管理手段
2024-11-29 09:46:00
香港维尔利科技集团携手广东药科大学,共同研发健康医疗数据采集
香港维尔利科技集团宣布与广东药科大学合作,正在联合研发一套智能化健康医疗数据采集系统。该项目旨在通过物联网技术、人工智能算法以及大数据处理能力
2024-11-29 09:50:00