• 我的订阅
  • 头条热搜
ChatGPT大流行的思考-解析篇
...在是给定人类的自然表述,LLM通过大量数据学习语义语法知识及既定事实,最终再用符合人类的表述方法进行反馈,讲究的是GPT去适应人,而不是人去适应GPT(这活脱脱是个绝对合格的乙方思路!谁能不爱)(2)角色定位的区...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\\\'24
让大模型能快速、准确、高效地吸收新知识!被EMNLP 2024收录的一项新研究,提出了一种检索增强的连续提示学习新方法,可以提高知识终身学习的编辑和推理效率。模型编辑旨在纠正大语言模型中过时或错误的知识,同时不需...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
...推理系统,TS-Reasoner 支持创建自定义模块,能够适应外部知识和用户指定的约束,具有高度的灵活性和可扩展性。这种高度的灵活性不仅增强了模型应对复杂时间序列任务的能力,还使其在需要严格约束的领域(如气候建模和投...……更多
百川智能发布baichuan3稳定语言模型
...助力医疗资源实现普惠和平权。并且医疗问题专业性强、知识更新速度快、准确性要求高、个体差异大,能充体现大模型的各项能力,被百川智能称为“大模型皇冠上的明珠”。因此,诸如OpenAI、谷歌等头部大模型企业都将医疗...……更多
重磅!OpenAI o1模型还没有实现真正的逻辑推理能力
...数学计算、代码编程,以及测试化学、物理和生物学专业知识的基准GPQA-diamond上,o1 系列模型的性能均明显优于 GPT-4o。根据OpenAI公布的信息,o1系列模型的特长并不相同,从数学能力看,o1最强,其次是o1-mini,最后是o1-preview,...……更多
科学家推出大模型数据集,涵盖奥赛数学题,有望让AI辅导数学课程
...对 TriMaster100 这一数据集,该团队还绘制出一幅三角函数知识图(knowledge graph)。实验中,他们发现通过搜索知识图来提供相关的知识信息,可以有效提高大模型的推理水平。 即在解答一个数学问题时,如果可以提供一些高级...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...子。检索增强生成(RAG)企业还可以通过添加特定领域的知识库来适配LLM,RAG是典型的「搜索驱动的LLM文本生成」。RAG于2020年推出,它使用动态提示上下文,通过用户问题检索并注入LLM提示,以引导其使用检索到的内容,而不...……更多
21.5万张X光,78万个问题!德州大学NIH等联合发布医学视觉问答数据集Medical-CXR-VQA
...仅包含相当于分类任务的简单问题,缺乏语义推理和临床知识。如图1所示,现有的ImageCLF VQA-MED数据集仅包含「这张图像里主要异常是什么?」和「这张图片里看到了什么?」这两种完全相当于分类任务的问题。较小的数量以及...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...其专门用于评估模型在化学、物理和生物学等领域的专业知识水平,并邀请了拥有相关领域博士学位的专家参与测试。测试结果显示,o1不仅成功完成了测试,更是超越了博士表现,成为首个在GPQA diamond 基准上击败人类专家的AI...……更多
2023内容科技应用典型案例:农业银行大模型ChatABC
...述农业银行大模型ChatABC,对于大模型精调、提示工程、知识增强、检索增强、人类反馈的强化学习(RLHF) 等大模型相关新技术进行了深入探索和综合应用,结合农业银行研发支持知识库、内部问答数据以及人工标注数据等金融...……更多
LLM群体智能崛起,数学性能暴增11.6%!谷歌DeepMind四大机构联手新作
...?研究人员对此,提出了一种假设,并设想是否可以通过知识引导,进一步提高LLM的能力。 其实,此前的研究已经表明,大模型表现出一些类人的特征,比如通过CoT一步一步推理。而且,也有一些研究称,LLM具备了元认知能力...……更多
整合长期记忆,AI实现自我进化,探索大模型这一可能性
...据的不断积累,模型必须在学习新信息和保留先前获取的知识之间取得平衡。传统模型通常假设稳定的数据分布,但在实际场景中,新的 LTM 数据可能与早期模式显著背离,导致过拟合或灾难性遗忘等风险。有效处理这些变化对...……更多
人工智能已经可以解决复杂的数学问题了,还有哪些工作无法被取代
...成的文本中。这可能导致出现歧视性语言或错误的陈述。知识表示:LLMs没有真正的理解语言或世界的知识,它们只是学习出现在数据中的模式。这意味着它们可能会在处理新的情况时出现问题。模型大小:LLMs需要大量的计算资...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...难的智力基准,用于测试化学、物理和生物学方面的专业知识。为了将模型与人类进行比较,OpenAI 聘请了拥有博士学位的专家来回答 GPQA Diamond 基准问题。实验结果表明:o1 超越了人类专家的表现,成为第一个在该基准测试中做...……更多
大模型是否有推理能力?DeepMind数月前的论文让AI社区吵起来了
...类才能涉足。深蓝是一个专家系统,它结合了广泛的象棋知识和启发式规则以及强大的树搜索算法(alpha-beta 剪枝)。几乎所有当代且更强大的象棋引擎都遵循类似的模式,目前世界上最强大的(公开可用的)引擎是 Stockfish 16。...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
...记忆格式)来降低这一成本。从概念上讲,由于其大部分知识都外化为显式记忆,因而 LLM 可以享受更少的参数大小、训练成本和推理成本。论文地址:https://arxiv.org/pdf/2407.01178论文标题:Memory3 : Language Modeling with Explici……更多
OpenAI-o1思考替代法火了!焦剑涛高徒一作提出思考偏好优化
...。且思考过程采用自然语言形式,便于解释和利用预训练知识。然后系统会将这些输出中的回答部分(不含思考过程)提供给一个评判模型来打分。评判模型可以是像ArmoRM这样直接对单个回答评分的模型,也可以是像Self-Taught Eva...……更多
大模型不会推理,为什么也能有思路?有人把原理搞明白了
...什么?一个普遍的猜测是:大模型的推理难道是在从参数知识中检索答案?该研究给出了反对这一观点的证据。作者认为,是预训练中的程序性知识在推动大模型进行推理。 自从大模型出现以来,AI 研究领域一直流传着这样一...……更多
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能
...所涵盖的体系框架。本综述旨在提供具身智能的全面背景知识、研究趋势和技术见解。本综述整体架构2. 具身机器人具身智能体积极与物理环境互动,涵盖了广泛的具身形态,包括机器人、智能家电、智能眼镜和自动驾驶车辆等...……更多
首个o1复现开源RL框架OpenR来了,UCL、上交等高校联合团队发布
...理教授(研究)杨林易。o1 作为 OpenAI 在推理领域的最新模型,大幅度提升了 GPT-4o 在推理任务上的表现,甚至超过了平均人类水平。o1 背后的技术到底是什么?OpenAI 技术报告中所强调的强化学习和推断阶段的 Scaling Law 如何实现...……更多
智能体首达Kaggle Grandmaster,华为结构化推理补齐思维链短板
...数据科学的目的是从结构化和非结构化数据中提取见解和知识,从而解决各种复杂问题。这需要系统级的方法,需要自动化和优化来适应具体的任务目标。举个例子,在 Kaggle 数据科学竞赛中(如图 1 所示),数据科学家需要遵...……更多
与OpenAI o1技术理念相似,TDPO-R算法有效缓解奖励过优化问题
...套严格的评分标准(就像是奖励模型),目的是测试你的知识深度和理解能力。这套标准非常全面,涵盖了大量的知识点和难题,理论上应该能够准确衡量你的学习水平。 然而,你发现了一些 “捷径”:考试中虽然有很多问题...……更多
ChatGPT 火爆,程序员会不会被取代?答案都在这里!
...人工智能是以服务人类为目的的。它由神经网络大模型+知识图谱+强化学习构成,在 ChatGPT 浪潮中已经打好基座,未来将引起从效率革命到思维革命,从改造自然到改造自身的深远影响。智源人工智能研究院总工程师林咏华:GPT3...……更多
这才是真开源模型!公开后训练一切,性能超越Llama 3.1 Instruct
...新基准以及其它已有基准上的表现,具体涉及的领域包括知识调用、推理、数学、编程和指令遵从。需要注意,这些都是 Unseen 基准,即这些任务是模型训练过程中未见过的。安全性方面,以下两表展示了 Tülu 3 与对比模型在两...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...(8B)。不过世界上有那么多成功的Transformer大模型,而知识就包含在这些模型参数里。如果能够锁住知识,同时把Transformer微调成Mamba,不就解决问题了?在本文中,研究人员结合渐进式蒸馏、监督微调(SFT)和定向偏好优化(D...……更多
港中文团队提出大模型元推理范式,革新大模型的评价体系
...院工作过一段时间。在 ChatGPT 面世以后,他意识到针对大模型的研究范式存在一定的不足,于是决定来到香港中文大学读博。图 | 曾忠燊(来源:曾忠燊)前不久,曾忠燊和所在团队提出一个全新评测范式。基于这一评测范式,...……更多
大模型新趋势之MoE:现状、挑战及研究方向
...有架构集成难,部分关键技术仍有待攻关。一是MoE仍存在知识混合、知识冗余等原始架构缺陷,容易导致专家同质化严重、专业化能力不足等问题。同时,根植于MoE的超参数调整、专家模型设计及协作、动态性适应数据变化、对...……更多
百度文心一言发布会详细纪要
...这些问题都答对相当不容易,因为百度的文心一言采用了知识增强和检索增强。我们有5500亿的事实知识在训练数据里,所以可以保证事实性的问题回答比较准确。第二个例子,是商业文案的创作。问“如果要成立一个用大模型...……更多
OpenAI o1太贵?那就自己做一个!纯提示方法让普通LLM进化出复杂推理能力
...僚机构担任管理人员的候选人,常识试卷测试不同领域的知识。这些问题非常严格,测试深入的概念理解、解决问题的能力以及跨多个领域(如物理、数学、化学、社会科学等)的概念应用。作者使用脚本来进行这项评估:脚本...……更多
跨模态大升级!少量数据高效微调,LLM教会CLIP玩转复杂文本
...文本处理能力被广为诟病,难以充分理解长文本和复杂的知识表达。随着大语言模型的发展,新的可能性逐渐显现:LLM 可以引入更丰富的开放时间知识、更强的文本理解力,极大提升 CLIP 的多模态表示学习能力。在此背景下,...……更多
更多关于科技的资讯:
24岁女生没食欲:一查全胃长满肿瘤
11月30日消息,据媒体报道,一名24岁女生因最近一个月没有食欲前往广州某医院就诊。经胃镜检查,这名女生的胃部长满了肿瘤
2024-11-30 22:05:00
腾讯回应朋友圈无法点赞:如果好友设置仅聊天 则无法点赞
快科技11月30日消息,微博话题“微信朋友圈显示未能点赞”冲上热搜榜,引发关注。一名网友称,他给好友的朋友圈背景点赞,显示未能点赞跟该内容已删除
2024-11-30 22:05:00
历史最低价 新款大众高尔夫家族上市:12.99万起
快科技11月30日消息,今晚,新款高尔夫家族正式上市,此次共推出四款车型,其中普通版三款,售价区间12.99-15.69万元
2024-11-30 22:05:00
张朝阳不建议掏空六个钱包消费:管好现金流 不要负债
快科技11月30日消息,据媒体报道,在财经论坛上,张朝阳表示,很多人刚一毕业就背上了负债,就像蜗牛背上沉重的包袱,不能也不敢追求自己人生的梦想
2024-11-30 22:35:00
仙乐健康怎么样?仙乐健康始终坚守“引领营养科技,为健康增值”使命,致力于为全球客户和消费者提供卓越品质、高营养价值以及安全可靠的营养健康食品
2024-11-30 22:41:00
是噱头还是趋势 升级Wi-Fi 7路由真的有必要吗
自2023年Wi-Fi 7标准落地以来,确实标志着无线网络技术迈入了一个全新的阶段,支持新一代Wi-Fi协议的路由器也逐渐成为市场关注的焦点和消费者换机的新趋势
2024-11-30 23:05:00
网易深圳全部裁员?官方回应:一个不留
今日,有网传消息称,网易深圳全部裁员,“一个不留”,主要涉及游戏业务部门。其中附带的一张朋友圈截图,疑似为网易深圳团队员工发出
2024-11-30 19:48:00
opporeno13pro亮相印度标准局,预计全球发布
OPPOReno13系列于11月25日在国内发布,包括标准版和Pro版两款机型。这两款新机均搭载了天玑8350芯片组,配备5000万像素主摄
2024-11-30 19:50:00
红米k80系列终于发布了,性价比依然出色
昨天万众期待的红米K80系列终于正式发布了,而作为继承小米数字系列空白档位的首款机型,红米K80标准版的价格还是维持在了2499元没涨
2024-11-30 19:51:00
红米k80pro和真我gt7pro,究竟谁更胜一筹?
红米K80系列终于来了,这次新品相当有诚意,甚至红米K80Pro让一些小米15用户感受到了背刺,毕竟对比下来,值得说的也就剩下小屏和徕卡标了
2024-11-30 19:51:00
iqooneo10新机官宣,定位电竞旗舰市场
11月份的新机即将结束,而12月份的新机已经在预热的路上,比如荣耀、真我等手机品牌在12月份都有新机发布。不过,12月份的新机重点不在旗舰机上
2024-11-30 19:52:00
余承东:尊界s800是我们年底的压轴旗舰
华为Mate品牌盛典结束后,华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东第一时间在微博上晒出尊界S800的“战绩”
2024-11-30 19:53:00
全新奥迪q7谍照曝光,内饰设计更年轻
说到奥迪的SUV车型,奥迪Q7绝对是不少车迷心中所最难以割舍的梦。图为价值2.7个亿的PikesPeakquattroConcept要知道
2024-11-30 19:54:00
华为nova13香手机来了,你值得拥有
在这个快节奏的时代,智能手机不仅是通讯工具,更是展现个性与品味的重要载体。华为nova系列,作为科技与美学的结合体,一直以其独特的设计理念和强大的功能吸引着年轻消费者
2024-11-30 19:55:00
王腾今日发文表示:“2500元档无遗憾的标准版只有K80”。他表示,REDMIK80具有顶级护眼2K屏幕、超声波指纹、IP68/69防护性等众多优点
2024-11-30 19:57:00