• 我的订阅
  • 科技

微软GenAI开发被曝遭遇瓶颈,转攻AI安全推出「抗幻觉神器」

类别:科技 发布时间:2024-10-12 09:51:00 来源:新智元

微软GenAI开发被曝遭遇瓶颈,转攻AI安全推出「抗幻觉神器」

【新智元导读】近期微软的高层人员调动以及新工具的推出,可能暗示着其AI战略的转向。

微软已经有一段时间没有向外界透露任何有关GenAI的讯息了。

在减少对OpenAI技术依赖的过程中,GenAI本该是微软的重要战略,但科技媒体The information了解到的微软组织变革表明:

微软在自主开发和训练生成式人工智能上遇到了瓶颈。

而同期微软推出的AI相关的新工具,也佐证了其在生成式人工智能业务上的战略转向。

微软GenAI开发被曝遭遇瓶颈,转攻AI安全推出「抗幻觉神器」

前途未卜的合成数据与蒸馏模型

今年的早些时候,微软似乎在对先前内部的一个名为「蒸馏」项目加倍投注。

这个项目的内容大致为先使用OpenAI的模型生成大量数据,然后再利用这些数据来训练类似ChatGPT的模型。

微软的目标是让这些模型在某些任务上几乎能达到与OpenAI模型相同的表现,这样微软就可以根据自身的需要,对自己开发的模型进行「公平市场价格」的定价和自由出售。

在人工智能的开发中,业内几乎都会使用某种形式的人工智能生成的训练数据,即合成数据。

作为OpenAI的主要资助者,微软拥有充分的自由来使用OpenAI的模型。

因此,微软的研究人员能够要求GPT-4生成数百万段与教科书质量类似的文本段落,包括文章和教科书风格的练习,这些练习附有解释的问答内容。

随后,微软便可以利用这些数据来训练一个较小但其性能表现与GPT-4相似的模型。

而大约从一年前开始,微软就通过提炼OpenAI的模型开发了Phi。

Phi不仅开源,运行成本也更低。

微软研究人员在他们的论文中表示,虽然Phi的规模要小得多,但其性能几乎可以与OpenAI的主要旗舰模型相媲美。

微软CEO纳德拉将Phi形容为微软在AI领域「掌握自己命运」的一种方式。

他向股东们表示,Phi在Azure上与投资公司贝莱德、阿联酋航空以及医疗软件公司Epic等客户进行了合作。

在某些情况下,特别是当问题相对简单、不需要复杂解答时,微软用Phi替代了OpenAI 的模型,例如在Bing等产品中取代GPT-4作为AI聊天机器人。

在Phi初步成功之后,今年一月,微软将负责Phi的首席研究员Sébastien Bubeck从微软研究部门调往一个专注于构建蒸馏模型的新组织。

同年三月,微软以6.5亿美元的协议聘请了Inflection的CEO 穆Mustafa Suleyman并让他负责公司的消费者AI业务后,Bubeck被调到了苏莱曼所管理的微软AI团队。

据两位知情人士称,他负责的是使用OpenAI的大型模型来生成训练数据。

然而,最近Bubeck已从Suleyman的团队离职,重新回到微软研究部门,并再次向研究主管Peter Lee汇报工作。

而在八月,负责将Phi模型添加到Azure和其他微软产品中的Misha Bilenko也离职前往了谷歌的DeepMind AI团队。

一位微软AI研究员认为,这些突如其来的人员变动可能表明,Suleyman将不再把合成数据和蒸馏视为部门的发展方向以及微软的首要目标。

另一方面,今年五月被寄予期望的大型模型MAI-1毫无消息,且Suleyman团队之后也再也没有公开发布过任何模型的情况,也佐证了这一战略转向。

微软现如今依然要依靠OpenAI的模型来支持自己的人工智能服务,据一些金融机构的预测,微软今年有望在Azure上通过转售OpenAI的模型获得超10亿美元的收入。

值得在意的是,微软近期推出了一项在Azure AI上的新服务——

「校正」:人工智能幻觉的纠正工具

现阶段阻碍生成式人工智能在现实中更广泛地应用落地的最大缺陷,就是「幻觉」(hallucinations)。

幻觉是指缺乏基础数据支持的内容的生成,输出误导性的信息。

这种现象尤其与大型语言模型( LLMs )相关。

在医学、自动驾驶等高风险领域,准确的信息至关重要。

虽然人工智能有潜力改善对重要信息的获取,但幻觉可能会导致误解,造成严重的后果。

虽然业内可以通过「过滤」来解决幻觉问题,但这种方法在输出的文本因内容被删减或屏蔽而变得不连贯时,会导致用户体验不佳。

而微软认为,在Azure AI内容安全的接地检测(groundedness detection)中引入的一项新功能——校正(correction),能够突破上述局限。

今年三月,微软在Azure AI引入了接地检测。它能够将人工智能的输出与原文档进行比较,以识别生成过程中的幻觉内容。

但在用户实际体验这项服务的过程中,一个疑问也随之产生:「对这些检测到的幻觉内容除了屏蔽之外,我们还能做什么?」

为了解决这个问题,微软在接地检测中引入了校正功能,让使用GenAI程序的用户能够遇到幻觉之前,实时识别和纠正幻觉。

但校正的运作,需要程序连接到用于文档摘要和给予RAG的接地文档。

之后,Azure AI上的接地检测将通过以下几步运行:

检测:首先,Azure AI内容安全会扫描AI生成内容中的无根据部分。

幻觉现象并不是一个完全有或完全无的问题,大多数无根据的输出实际上也包含了一些有根据的内容。

这就是为什么有根据性检测可以精确找到无根据内容的具体部分。

当无根据的内容被识别出来后,模型会高亮显示具体不正确、不相关或虚构的文本。

推理:在识别出无根据的段落后,模型会生成解释说明,说明为什么某些文本被标记。

这种透明性非常重要,因为它可以让用户明确无根据的点,并评估其不接地的严重性。

修正:一旦无根据的内容被标记,系统会实时启动改写过程。被标记为不准确的部分会被修改,以确保与相关数据源保持一致。

但如果该句子缺少任何与基础文件相关的内容,则可能会被完全过滤掉。

而在用户看到最初的无根据内容之前,修正就已经完成。

输出:最后,修正后的内容将返回给用户。

但微软强调,该工具提高的是人工智能生成的内容和源材料之间的一致性,它并不能保证生成的内容可以到达完美的准确性。

毕竟最根本的是数据来源的真实性和客观性。或许,这也是微软决定内部战略转向的原因。

而在构建值得信赖的人工智能的道路上,业界的开发者们还需要更多不同的尝试。

参考资料:

https://the-decoder.com/microsoft-unveils-ai-hallucination-correction-tool/

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-10-12 12:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

微软研究人员正在测试其他ai模型
6月21日消息,就在GPT-4因征服标准化测试而登上头条时,微软研究人员正在对其他AI模型进行一种非常另类的测试——一种旨在让模型捏造信息的测试。为了治好这种被称为“AI幻觉”的
2024-06-22 09:31:00
涉捆绑销售 微软公司遭美联邦贸易委员会反垄断调查
...援引知情人士消息报道称,美国联邦贸易委员会已对美国微软公司启动反垄断调查,涉及微软、云计算服务与软件授权等方面。截至目前,微软暂未作出回应。涉捆绑销售 联邦贸易委员会调查微软
2024-11-30 15:30:00
openai公布gpt-4最新版本gpt-4模型
...未公布这个模型的参数量有多少。OpenAI表示,它使用的是微软(MSFT.US)Azure训练模型,微软已经向这家初创公司投资了数十亿美元
2023-03-15 23:12:00
微软、英伟达纷纷押注小模型,大模型不香了?
...着过去“越大越好”的观念。视觉中国当地时间8月21日,微软和英伟达相继发布了最新的小型语言模型——Phi-3.5-mini-instruct和 Mistral- NeMo- Minitron8B
2024-08-26 14:17:00
【科技早报】北大团队推出“职场神器”ChatExcel;今日头条状告今日油条败诉
...嵌入百度内部工作平台3. 苹果公司已注册Daily Cash商标4. 微软拟推出人工智能芯片,内部代号“雅典娜”5. 马斯克回应特斯拉上海工厂被爆克扣员工绩效:已知晓,将调查
2023-04-19 10:00:00
旧电脑安装win10系统告别卡顿,这个神器轻松搞定!
...得淋漓尽致……看得出来,确实不想让我们好过。也是,微软在进行win10更新开发的时候,要么忙于更新修复旧Bug,要么顺手制作制造一些新Bug,至于改善用户体验?抱歉,没有时间
2023-01-10 11:05:00
英伟达推出“护栏”软件 让AI聊天机器人不再胡说八道
... AI 模型编写自定义规则。据IT之家搜索了解,包括谷歌和微软支持的 OpenAI 等其他 AI 公司,也使用了一种称为强化学习的方法来防止 LLM 应用产生有害的输出
2023-04-26 10:44:00
别再担心了!微软高管也吐槽AI:太累了 根本学不过来
...国企业家论坛第25届年会于2025年2月21日至23日成功召开。微软(中国)有限公司首席技术官韦青受邀出席开幕式并发表了精彩演讲。在演讲中,韦青透露了他上周在美国进行的一次特
2025-02-22 10:30:00
chatgpt和谷歌搜索不必二选一!爆火开源插件神器
...索引擎结合起来的念头,这个插件背后的开发者,可能跟微软-OpenAI想得一样早。去年11月30日,ChatGPT正式亮相
2023-02-18 18:49:00
更多关于科技的资讯:
鲁网10月27日讯10月24日,记者在青岛市崂山区委宣传部召开的媒体见面会上获悉,近年来,青岛市崂山区以前瞻布局推动虚拟现实产业高质量发展
2025-10-27 16:24:00
京东11.11直播技术全面升级,立影3D技术、JoyAI大模型重构沉浸式购物体验
随着京东 11.11 大促的火热进行,京东直播再度升级技术布局,以 “立影 3D 技术”“JoyAI大模型”等创新技术
2025-10-27 15:39:00
电机能效提升领域再添标杆!25 项产品 / 技术入选全国节能降碳示范名单
为深入贯彻国家 “双碳” 战略,加快电机领域节能降碳技术创新与成果转化,中国电子节能技术协会此前启动 “全国节能降碳示范产品 / 技术推荐” 征集工作
2025-10-27 15:42:00
吉刻现场|硬核登场!吉林选手角逐第三届全国博士后创新创业大赛
10月26日,第三届全国博士后创新创业大赛在福建泉州(晋江)开幕。本届大赛,吉林省派出23个项目团队组成的参赛队伍角逐三个大赛道
2025-10-27 14:09:00
厦心医院实现手术\
厦门网讯(厦门日报记者 楚燕 通讯员 许良友 付磊 刘云芳)10月23日,一项载入医学史册的创新手术在厦门大学附属心血管病医院(以下简称“厦心医院”)圆满完成
2025-10-27 08:11:00
新闻纵深·解码钢铁大模型|邯钢构建六大领域全链条智能大模型:“聪明大脑”带来极致能效
邯钢构建六大领域全链条智能大模型“聪明大脑”带来极致能效编者按当钢铁遇上人工智能,一场“智变”正悄然发生。为生动展现人工智能为钢铁产业生产
2025-10-27 08:12:00
第十一届NJSD软件开发者会议在软件谷举行江苏规模最大,1400名软件工程师在宁“聚会”南报网讯(记者于洁尘通讯员林园园)70多位业界“大咖”登台演讲
2025-10-27 08:20:00
南报网讯(通讯员郑瑞于品华杨刚记者徐宁)近日,南化公司自主研发的橡胶防老剂中间产品RT培司(4-氨基二苯胺)除盐技术取得突破
2025-10-27 08:21:00
南报网讯(通讯员杨淏涵记者张希)日前,南京林业大学与乐惠国际南京基地签署《校企全面合作协议》《产业研究院共建协议》,全面开启校企战略合作
2025-10-27 08:22:00
高效,是都市青年的通行证:InstaShake以“一杯营养”重塑健康生活方式 —— 新锐品牌以“零添加、无预制、纯手工”的坚守,为上海都市人群注入鲜活能量
在生活节奏不断加速的上海,追求健康与追求效率似乎成为一道单选题。然而,新锐健康饮品品牌InstaShake正以其独特的“零添加
2025-10-27 08:39:00
济宁银行锚定金融“五篇大文章” 多维发力赋能区域经济高质量发展
鲁网10月27日讯近年来,济宁银行围绕做好金融“五篇大文章”,深入洞察科技企业、中小微企业以及重点产业链金融需求,以产品创新破解融资难题
2025-10-27 11:07:00
汪昌莲据《经济日报》报道,“两三元就能买品牌饼干薯片”“上百种散装零食任意挑选”……从县城到乡镇,在街角与量贩零食店不期而遇已成逛街“标配”
2025-10-27 11:10:00
受冷空气影响,气温先降后升,27日早晨气温较低。26日夜间到27日白天晴间多云,北风转南风2~3级,最低气温市区4℃左右
2025-10-27 11:28:00
2025青岛虚拟现实创新大会将启,雷神科技聚焦信创生态构建
鲁网10月27日讯虚实无界,智享未来。2025青岛虚拟现实创新大会即将在崂山区拉开帷幕。2017年以来,由崂山区成功承办的虚拟现实创新大会
2025-10-27 11:48:00
长白时评评论员 唐小兰近日,北京一市民反映有陌生男子在她家中无人时,通过指纹解锁智能门锁多次进入她家。当事人焦女士告诉新京报记者
2025-10-27 13:38:00