• 我的订阅
  • 科技

(经济观察)中外院士共谈AI大模型:应对大模型安全问题需设好“紧箍咒”

类别:科技 发布时间:2023-09-07 16:46:00 来源:每日看点快看

本文转自:中国新闻网

中新网上海9月7日电 (高志苗 王梦瑶)“伏羲”说:9月1日上海不下雨。中国科学院院士、复旦大学副校长张人禾7日在2023外滩大会上表示,20年来复旦大学首次举办户外开学典礼背后有气象大模型的“预测助力”。

他介绍,“伏羲”是复旦基于学校自有云上科研智算平台训练出的气象大模型,拥有45亿参数,可以成功预报未来15天的全球天气,每次预报耗时在3秒以内。“‘伏羲’预报的9月1日天气与当天结果完全一致,不仅为师生带来难忘的青春回忆,也是高校创造全新科研范式的一大体现。”

(经济观察)中外院士共谈AI大模型:应对大模型安全问题需设好“紧箍咒”

以“科技·创造可持续未来”为主题的2023INCLUSION·外滩大会7日在上海开幕。中新网记者高志苗摄

从ChatGPT到文心一言、盘古、曹植……2022年年底OpenAI发布的ChatGPT掀起了全球大模型浪潮。以“科技·创造可持续未来”为主题的2023 INCLUSION·外滩大会7日开幕。大模型成为大会关键词的同时,大模型安全等“冷思考”也成为专家关注的重点。

美国科学院院士、美国工程院院士、英国皇家学会外籍院士迈克尔·乔丹(Michael I.Jordan)表示,ChatGPT无法确定自己所写内容的正确性,因为它技术上是存在问题的,而这个问题它还没有真正有效解决。在讲到“不确定”时,人非常擅长处理沟通以及应对不确定信息,ChatGPT没有办法对不确定性进行量化,要找到可能的方法去应对这些挑战。

(经济观察)中外院士共谈AI大模型:应对大模型安全问题需设好“紧箍咒”

美国科学院院士、美国工程院院士、英国皇家学会外籍院士迈克尔·乔丹(MichaelI.Jordan)在外滩大会上演讲。中新网记者高志苗摄

针对大模型的安全问题,中国科学院院士何积丰认为,主要体现在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能发生在使用过程中,大模型的生成能力则让“隐私泄露”的方式变得多样化,造成隐私保护更加困难。

“为了应对这些问题,我们需要大模型对齐技术。”何积丰说,“对齐”是指系统的目标和人类价值观一致,使其符合设计者的利益和预期,不会产生意外的有害后果。“如果把人工智能看作西游记里的孙悟空,‘对齐’就是唐僧的紧箍咒。有了紧箍咒,就可以保证技术不会任意使用能力胡作非为。”

何积丰介绍,反馈强化学习是实现对齐的技术途径,目前有两种方式,一是通过人工反馈给模型不同的奖励信号,引导模型的高质量输出;另一种方式是事先给大模型提供明确的原则,系统自动训练模型对所有生成的输出结果提供初始排序。“这意味着,不仅智能系统需要向人类价值观对齐,人类的训练方法也要向价值观对齐。”

迈克尔·乔丹强调,人工智能不会替代人,它只是一个新的工程系统。“科技是一个很好的工程系统,它应该服务于每个人,应该是公平、诚实、透明、稳定的,这些特性是整个工程系统的特点,而不是系统当中个体的特点。所以AI它是集体性的,是将我们团结在一起的技术。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-09-07 18:45:06

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

本文转自:中国新闻网中新社北京4月27日电 (记者 陈溯 陈杭)AI(人工智能)正以前所未有的速度引起技术、产业及人类生活的巨变。下一步,人工智能的应用前景在哪?如何推动人工智能
2024-04-27 21:09:00
中国科学院院士何积丰:利用对齐技术为大模型戴上“紧箍咒”
...何积丰开出了他的“药方”:利用对齐技术为大模型戴上紧箍咒。何积丰认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能
2023-09-07 14:46:00
...何积丰开出了他的“药方”:利用对齐技术为大模型戴上紧箍咒。何积丰认为,大模型的安全问题主要是在未经同意的情况下,收集、使用和泄露个人信息。隐私问题既可能发生在训练过程,也可能
2023-09-07 16:27:00
本文转自:人民网中央网信办近日发布的《关于加强“自媒体”管理的通知》(以下简称《通知》)提出,为加强“自媒体”管理,压实网站平台信息内容管理主体责任,网站平台应严防假冒仿冒行为、
2023-07-15 16:28:00
千行百业加速拥抱大模型(AI前沿观察)
...术创新快 应用渗透强 国际竞争激烈千行百业加速拥抱大模型(AI前沿观察)潘旭涛 陈斯达《 人民日报海外版 》( 2023年12月22日 第 08 版)在湖南省长沙市举办的2023世界计算大会专题展上
2023-12-22 03:26:00
财经观察:护航数字经济 共话数据安全治理
...拿大皇家学院两院院士杨强在介绍可信联邦学习与联邦大模型时表示,联邦学习的主要概念和隐私计算一脉相承,其主要目的是数据“可用而不可见”。具体而言,是实现“让数据留存在本地,用数
2023-05-28 08:53:00
本文转自:中国新闻网临近岁末,全球不少研究机构和媒体发布2024年AI(人工智能)大模型发展趋势预测,认为明年将迎来企业生成式AI应用的爆发。中国学者专家也在不同场合对此进行了探
2023-12-31 09:21:00
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
迎着技术风口,2024年将是AI大模型应用的浪潮年。业界认为,大模型将对金融业产生长远的、深刻的影响。1月28日,针对大模型在各业务场景的应用成效、对大模型算力的开发和提升,多机
2024-01-29 21:36:00
中新社北京3月31日电 (王梦瑶)人形机器人迎宾指引答疑解惑,机器人灵巧手会玩魔方还能穿针引线……具身智能在中国进入快速发展阶段,如何促进行业进一步发展?2025中关村论坛年会与
2025-03-31 20:51:00
更多关于科技的资讯:
日常生活中,电梯是高层楼宇里不可或缺的垂直交通工具。超过80%的电梯在发生故障前都会释放“求救信号”。这些容易被忽视的异常现象
2025-11-08 05:24:00
进博会上,南京“买手团”大逛“世界超市”全球直采,优品好物装进“购物车”□南京日报/紫金山新闻记者 黄琳燕11月7日,第八届进博会7
2025-11-08 09:31:00
八赴进博彰显深耕决心!凯克携 77 年加拿大真洋牌伟博天然,以全维优势点亮健康新生态
2025 年第八届中国国际进口博览会(进博会)盛大启幕,凯克集团再度携手 webbernaturals 伟博天然荣耀参展
2025-11-08 14:40:00
双11调研:家庭日用类消费成65.89%人大促固定选择,京东成消费者下单日百和服务首选平台
双11已步入第十七个年头,消费者的心态与行为模式也发生了深刻变化。越来越多的中国家庭将双11视为进行生活规划与品质升级的关键节点
2025-11-08 14:42:00
从巴黎歌剧院到家庭客厅,海信激光电视携手 DEVIALET 帝瓦雷开启“家庭影院新世代”
法国当地时间11月4日,全球显示领军品牌海信与知名高端音响品牌 DEVIALET 帝瓦雷在巴黎举办了一场科技与艺术的跨界盛宴
2025-11-08 14:43:00
双11囤货别忘囤“快乐”!华为应用解锁花式娱乐新体验
这个双11,你的购物车是不是已经塞满了心仪的好物?从智能家电到秋冬新装,从母婴用品到家居日用。在忙着为全家人囤货的同时
2025-11-08 14:44:00
在乌镇遇见更懂你的AI,科大讯飞携星火大模型及全场景应用亮相2025世界互联网大会
当千年舟楫摇橹的乌镇,再次成为全球互联网的焦点,一场关于未来的想象正在这里变为现实。2025年11月6日至9日,以“AI共生
2025-11-08 14:44:00
工厂数智化升级,安全建设别再原地踏步!深信服安全托管常态守护
某全球知名的智能制造企业拥有多个生产基地,高智能化产线7*24H运转,而随之而来的安全挑战,却成了企业信息部门“心病”
2025-11-08 14:44:00
双11“精神囤货”指南:华为音乐、视频、阅读,承包你的快乐源泉
又是一年双十一,当购物车被各种生活好物填满,你是否想过,也该为自己的休闲娱乐体验升个级?无论是上下班通勤路上、午休小憩时刻
2025-11-08 14:44:00
11月7日,在2025年世界互联网大会“互联网之光”博览会现场,两位机器人乐手用灵巧的双手演奏钢琴,引人驻足。“我很想去拍拍他们手的细节
2025-11-08 15:52:00
蚂蚁集团CEO韩歆毅:AQ承载蚂蚁健康新使命,让看病更简单、生活更健康
11月8日,乌镇峰会上,蚂蚁集团CEO韩歆毅作为企业代表分享了在AI医疗健康领域的思考与实践。此前,继旗下AI健康应用AQ月活用户突破千万后
2025-11-08 17:00:00
近日,2025福布斯中国・最具影响力华人精英TOP100榜单公布,山西美锦能源股份有限公司董事长姚锦龙上榜。据悉,本届榜单从“产业重塑者”“价值创造者”“趋势勘探者”三大维度
2025-11-08 18:06:00
冲刺四季度 打好收官战丨湖北胜龙机械:优产线强技术 订单实现最大增长
四季度是定全年、保全局的收官季,十堰各工业企业开足马力忙生产、赶订单。湖北胜龙机械有限公司通过产线优化、技术升级、质量提升
2025-11-08 20:36:00
潮玩的本质是“快乐经济”,而非“收割经济”。近日,潮玩品牌泡泡玛特在直播中上演了意外一幕。工作人员手持售价79元的DIMOO盲盒挂链
2025-11-09 01:14:00
厦大机器人项目获“挑战杯”特等奖聚焦提升双臂机器人的自主操作能力东南网11月7日讯 (海峡导报记者 郑薇 通讯员 郭煜新)11月3日
2025-11-09 03:08:00