• 我的订阅
  • 头条热搜
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
OpenAI-o1替代品来了,大模型能根据任务复杂度进行不同时间的思考。不限于推理性的逻辑或数学任务,一般问答也能思考的那种。最近畅销书《Python机器学习》作者Sebastian Raschka推荐了一项新研究,被网友们齐刷刷码住了。论文...……更多
首届大模型顶会COLM高分论文:偏好搜索算法让大模型评估更高效
...。在 RLHF 训练范式中,奖励模型根据排名比较数据与人类偏好对齐。这增强了 LLMs 与人类价值观的对齐,从而生成更好地帮助人类并遵守人类价值观的回应。近日,第一届大模型顶会 COLM 刚刚公布接收结果,其中一项高分工作分...……更多
将偏好学习引入模型训练,北大李戈团队提出代码生成优化新框架
代码模型SFT对齐后,缺少进一步偏好学习的问题有解了。北大李戈教授团队与字节合作,在模型训练过程中引入偏好学习,提出了一个全新的代码生成优化框架——CodeDPO。在部分模型上,相比于单独使用SFT,CodeDPO能够将模型的...……更多
4轮暴训,Llama 7B击败GPT-4!Meta等让LLM「分饰三角」自评自进化
...应,由再让M_t对自己进行评价,由此得到用于训练actor的偏好数据。 之后,给定同一个响应内容y,让M_t生成各种不同评价的变体,由meta-judge进行打分和排名,由此得到用于训练judge的偏好数据。结合上述的两类偏好数据,通过D...……更多
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
...的基于扩散模型的推荐框架,能够更好地捕捉用户的潜在偏好和兴趣,从而生成个性化、贴合用户需求的推荐内容。具体而言,该框架采用隐空间扩散机制,有效清除用户表示中的噪声,无论是压缩还是密集的嵌入空间。RecDiff...……更多
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
...器。一方面,为了使LLM自动评分更加合理、准确并与人类偏好保持一致,对人类判断的数据收集极其重要。 然而,获得这些判断数据既昂贵又耗时。从以前的研究中收集现有的人类评估貌似可行,但面临着缺乏标准、文档数据...……更多
关于LLM-as-a-judge范式,终于有综述讲明白了
...来源(人工标注和模型反馈)和微调技术(有监督微调和偏好学习)对这些工作进行了详细讨论。图 4:LLM-as-a-judge prompting 方法(2)提示:提示(prompting)技术可以有效提升 LLM-as-a-judge 的性能和效率。在这一章节中,我们总结...……更多
零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR
...对齐不同模态时面临幻觉和细粒度感知不足等问题,传统偏好学习方法依赖可能不适配的外源数据,存在成本和质量问题。Calibrated Self-Rewarding(CSR)框架通过自我增强学习,利用模型自身输出构造更可靠的偏好数据,结合视觉...……更多
OpenAI重拾规则系统,用「AI版机器人定律」守护大模型安全
...型,既能改善过度谨慎的奖励模型,也能改进(有时候)偏好不安全输出的奖励模型。 该团队也进行了消融研究,实验了不同的设计选择,比如多种不同的安全提示集数量和组成。用于安全的基于规则的奖励首先,作为 RBR 方法...……更多
这才是真开源模型!公开后训练一切,性能超越Llama 3.1 Instruct
...训练的新方法,以及使用模型自己的生成结果创建高性能偏好数据的新方法。加上更多优化细节,得到的 Tülu 3 系列模型明显优于同等规模的其它模型。8B 模型在各基准上的表现70B 模型在各基准上的表现 Tülu 3 是如何炼成的?A...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...模态上扩展新的对齐算法;3)同时发布首个全模态人类偏好数据集 Align-Anything,提供详细的人类偏好注释以及用于批评和改进的精细语言反馈,在增强模型的多模态理解能力的同时,从而实现跨模态的全面评估和改进。全模态...……更多
解密OneEntity体系
...教、地理位置、价值观等。人的向往与需求,可分为兴趣偏好、行为消费偏好。兴趣偏好:是人堆非物化对象的内在心理向往与外在行为表达,是一种法子内心的本能喜好,与物质无必然关系。例如渴望爱情、需要安全感、讨厌...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...文中,研究人员结合渐进式蒸馏、监督微调(SFT)和定向偏好优化(DPO)等方法达成了这一目标。光是变大还不够,在性能匹配Transformer的前提下,速度也要够快才行。 Mamba凭借固定的推理开销,在长序列中的优势明显,但Transf...……更多
RLHF不够用了,OpenAI设计出了新的奖励机制
...对齐变得越来越重要。最近的许多工作都集中在使用人类偏好数据来调整模型上,例如基于人类反馈的强化学习(RLHF)。然而,仅使用人类反馈来实现目标安全规范还面临许多挑战。为模型安全性收集和维护人类数据通常既费...……更多
泰州农商银行持续提升风险管理能力
...有进,保持了良好的发展态势。细化指标,出台年度风险偏好陈述书和风险管理工作指导意见。根据全面风险管理要求,以监管部门监管指标、省联社2024年经营管理考核、该行2022-2024三年全面风险管理规划为主要依据,结合风...……更多
...)、短视频App(33%)等线上渠道了解保险品牌,年轻人更偏好社交媒体和内容类平台,老年人更偏好短视频App。从购险渠道来看,传统保司线下网点/代理人渠道(70%)仍是当前购险首选。但相较于2022年,2023年各年龄段消费者的...……更多
MSRA:视觉生成六大技术问题
...,可以得到下面的结果。然而,该指标不能确保与人类的偏好完全一致。2、利用已有的生成模型衡量指标,如FID等。这类方法有两个问题,第一,FID等指标自身的bias,比如FID假设图像抽取特征后的分布满足高斯分布,这会带来...……更多
苹果AI版iOS首日火爆:聊天秒变高情商,大模型成最强嘴替
...通过多轮迭代优化模型的性能。其核心思想是结合不同的偏好优化算法,包括拒绝采样、直接偏好优化(DPO),使得模型能够从多种优化策略中受益,从而提高其对特定任务的适应性和性能。在每次迭代中,iTeC会从最新的模型...……更多
华商基金邓默:市场风格向盈利确定性较高行业扩散
...中国经济网北京2月19日讯今年以来,市场对于核心风格的偏好已经逐渐转向价值,以红利风格为代表的防御型资产持续走强。华商基金邓默表示,在这个过程中,我们也在选股模型中加大了对估值因子的考虑,投资组合整体呈现...……更多
超越扩散模型!自回归新范式仅需2.9秒就生成高质量图像
...模型的性能。此外在生成图像真实度、图文一致性和人类偏好上均表现优秀。来看看具体是如何做到的?自回归通用文生图模型STAR扩散模由于其高质量和多元的生成,一度在文生图领域占有主导地位。它通过逐步的去噪过程,...……更多
报告:iPad用户更倾向保留旧设备 iPhone用户偏好交易
【CNMO科技消息】根据Consumer Intelligence Research Partners(CIRP)的最新研究报告,iPad用户在处理旧设备时,相较于iPhone用户,更倾向于保留或再利用它们。这份覆盖至2024年3月过去12个月的数据揭示了一个显著的现象:在iPad的重复购...……更多
LLM超越人类时该如何对齐?谷歌用新RLHF框架解决了这个问题
...学习的新任务,从而实现自我改进以更好地泛化用于人类偏好对齐? 为了提升语言模型的对齐能力,人们已经提出了许多偏好优化算法,但它们都默认使用固定的提示词训练分布。这种固定的训练范式缺乏可扩展性,并不可避...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
... 3 同样有着更好的表现。人类标注者根据该评估集进行的偏好排名,凸显了 Llama 3 70B 指令跟随模型与真实世界中同等规模的竞争模型相比的强大性能。Llama 3 的预训练模型还为这类规模的 LLM 模型建立了新的 SOTA。 Llama 3 是如何...……更多
A股风险偏好或将提高,高弹性、高成长的科技成长占据反弹第一线
...、经济持续复苏提振,A股市场吹响反攻号角,市场风险偏好或将提高,高弹性、高成长的科技成长占据反弹第一线。流动性方面,消息面再传来利好,美国劳工部报告显示,因能源价格大幅放缓,美国10月CPI同比升3.2%,为今年7...……更多
...握“人想要什么”的能力。在人和物之间建立某种关于“偏好”“需求”的关联。人们想出的办法是利用相似性原理。1997年,电子购物先驱亚马逊首次在商业上采用算法推荐,根据用户的购买记录推荐相似商品,取得相当不错...……更多
关系改善可能提升市场风险偏好
...及国内经济底部企稳大方向没有变化,此前压制市场风险偏好的主要因素已经得到缓和。另外中美关系出现明显转暖迹象,本周APEC峰会举行,中美领导人会晤可能会成为市场关注的焦点,若出现双边关系改善,特别是在经贸领...……更多
线上购险接受度将反超线下?互联网保险如何乘势而上
...各年龄段消费者的线上购险率普遍提高,老年人对线上的偏好度显著提升;各年龄段消费者的线下购险率均有降低,越年轻对线下的偏好度越低。2023年,以51—60岁这一年龄段为例,线上购险率由上一年的63%增长至72%。20—30岁这...……更多
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
...一种多级蒸馏方法,结合了渐进式蒸馏、监督微调和定向偏好优化。与普通蒸馏相比,这种方法可以获得更好的困惑度和下游评估结果。该研究假设来自 Transformer 的大部分知识都保留在从原始模型迁移而来的 MLP 层中,并专注于...……更多
...库。分析这些数据能够帮助企业了解消费者的购买模式、偏好变化及市场趋势。在分析过程中,描述性统计学提供了对消费者行为数据的初步理解。例如,通过计算消费者购买频率、平均消费额等指标,可对消费者群体的基本特...……更多
与OpenAI o1技术理念相似,TDPO-R算法有效缓解奖励过优化问题
...期,为了确保生成的图像能够符合下游任务目标以及用户偏好,许多研究者开始探索如何对预训练扩散模型进行奖励或偏好驱动的微调训练 —— 这就是所谓的扩散模型对齐(Diffusion Model Alignment)。目前,最流行的对齐方法之一...……更多
更多关于科技的资讯:
最香的骁龙8 Gen3手机!一加Ace 5惊现神车:贵州国补不到1900元
快科技12月27日消息,一加Ace 5系列于12月26日正式发布,首发起售价是2299元。在酷安上,不少贵州网友纷纷下单
2024-12-27 08:07:00
京东方独供一加 Ace 5 系列手机屏幕
IT之家 12 月 26 日消息,一加 Ace 5 系列手机今日正式发布,系列新机分别搭载高通骁龙 8 Gen3 / 至尊版处理器
2024-12-27 09:19:00
智谱开源GLM-PC 基座模型CogAgent-9B,让 AI 智能体“看懂”屏幕
IT之家 12 月 27 日消息,智谱技术团队公众号昨日(12 月 26 日)发布博文,宣布开源 GLM-PC 的基座模型 CogAgent-9B-20241220
2024-12-27 09:20:00
国产大模型 DeepSeek-V3 开源:6710 亿参数自研 MoE
IT之家 12 月 27 日消息,“深度求索”官方公众号昨日(12 月 26 日)发布博文,宣布上线并同步开源 DeepSeek-V3 模型
2024-12-27 09:20:00
全汉 VITA-BD 系列 750/850W 电源发布,369 元起
IT之家 12 月 27 日消息,全汉(FSP)宣布推出 VITA-BD(维塔)系列电源新品,支持英特尔 ATX 3.1 规范
2024-12-27 09:21:00
苹果官宣 1 月 4 日至 5 日 Apple TV+ 服务将迎“新惊喜”
IT之家 12 月 27 日消息,苹果公司在 X 平台发文,官宣将于 2025 年(明年)1 月 4 日至 1 月 5 日为 Apple TV+ 服务带来“新惊喜”
2024-12-27 09:21:00
小米“超级小爱”内测招募,体验形式转为推送 Apk 测试
IT之家 12 月 27 日消息,小米“超级小爱”现开启内测招募,详细说明显示超级小爱内测为“OS2 Beta(超级小爱)”内测的延续
2024-12-27 09:22:00
AYANEO Pocket S 樱花粉 / Retro Power 限定版安卓掌机真机公布
IT之家 12 月 26 日消息,在今晚举行的 AYANEO 3 & 限定版新品直播分享会活动中,AYANEO Pocket S 樱花粉 / Retro Power 限定版安卓掌机真机亮相
2024-12-27 09:22:00
“理想同学”上架苹果 App Store:支持知识问答、看世界等功能
IT之家 12 月 27 日消息,理想同学 App 现上架苹果 App Store,商店页面显示该应用当前版本为 1.0
2024-12-27 09:22:00
雷神 CES 2025 笔记本电脑新品预热:新型“RGB”散热系统
IT之家 12 月 26 日消息,雷神科技 THUNDEROBOT 宣布将参加明年 1 月初在美国拉斯维加斯举行的 CES 2025 展会
2024-12-27 09:22:00
洛图科技预计:2025 年 AI 在智能眼镜市场销量渗透率将突破 60%
IT之家 12 月 26 日消息,根据洛图科技今日报告,搭载摄像头的可拍摄智能眼镜正在成为新的产品风向。随着百度的小度 AI 眼镜
2024-12-27 09:24:00
联想 CES 2025 预热:含 ThinkBook Plus 卷轴屏笔记本电脑
IT之家 12 月 26 日消息,联想宣布将在明年 1 月 7 日举行的 CES 2025 展会中公布一系列创新产品与前瞻技术
2024-12-27 09:25:00
AYANEO 3 旗舰 Windows 掌机真机公布,自由模块化手柄设计
IT之家 12 月 26 日消息,在今晚举行的 AYANEO 3 & 限定版新品直播分享会活动中,AYANEO 3 真机对外公布
2024-12-27 09:25:00
联想集团与火山引擎达成合作
IT之家 12 月 26 日消息,在今日举行的 2024 联想天禧生态伙伴大会上,联想正式宣布与火山引擎牵手合作,为其 AI 桌面助手如意(AI Stick)
2024-12-27 09:26:00
一加 Ace 5 系列手机发布,售价 2299 / 3399 元起
IT之家 12 月 26 日消息,一加 Ace 5 系列手机今日正式发布,系列新机分别搭载高通骁龙 8 Gen3 / 至尊版处理器
2024-12-27 09:29:00