• 我的订阅
  • 财经

AI监管和开放,到底如何平衡?

类别:财经 发布时间:2023-11-04 13:54:00 来源:财经风云

11月1日,“ChatGPT可能已经有了意识”的话题登上了热搜话题榜。这一言论来自OpenAI首席科学家IlyaSutskeve近期的表态,他认为,ChatGPT背后的神经网络已经产生了意识,未来超级人工智能(AI)将会成为一种潜在风险。

更早之前,10月30日,美国总统拜登签署行政令,将对AI研发和应用制定全面的监管标准,这也是白宫首次发布针对AI的行政令。11月1日,首届全球人工智能安全峰会在英国布莱奇利园召开,中国、美国、英国、欧盟等多方代表签署了一项具有里程碑意义的《布莱切利宣言》,警告了最先进的前沿AI系统所带来的危险。

随着监管层面的加强,业内关于AI风险的大讨论被再次推向高潮。在社交媒体上,许多业内专家对AI构成的生存威胁发出警告,认为开源AI可能会被不良行为者操纵,(例如)更容易制造化学武器,而另一方面,反驳观点则认为这种危言耸听只是为了帮助将控制权集中在少数保护主义公司手中。

辩论不断升级,OpenAI首席执行官SamAltman最近在剑桥参加活动时,甚至遭到了激进分子的强烈抵制。

面对如此激烈的争辩,开源AI到底危险吗?AI监管和开放,到底如何平衡?“毁灭派”大战“开源派”

有关AI风险和监管的讨论在本周又一次被推向高潮。

OpenAI首席科学家IlyaSutskeve近期接受《麻省理工科技评论》采访时认为,ChatGPT背后的神经网络已经产生了意识,未来超级AI将会成为一种潜在风险。此外,拜登首次签署AI行政令,以及首届全球人工智能安全峰会签署《布莱切利宣言》,也预示着AI监管正在逐步收紧。

根据白宫最近新颁布的AI法规规定,对美国国家安全、经济、公共卫生或安全构成风险的AI系统开发商在向公众发布前,需要与美国政府分享安全测试结果,甚至还细致到规定了需要受到监管的AI模型参数。

此举立刻引发了AI业界大佬的论战,主张AI发展应该更加开放的“开源派”认为这会让算法效率的提高陷入困境,而认为AI可能对人类造成巨大风险的“毁灭派”则对此表示认同。

“开源派”以Meta首席AI科学家YannLeCun和斯坦福大学计算机科学系和电气工程系的副教授AndrewNg为代表,他们认为, AI强监管所带来的巨头垄断是从业者和政策制定者该真正关心的问题。

“毁灭派”以“AI教父”GeoffreyHinton、蒙特利尔大学计算机科学教授YoshuaBengio、纽约大学教授GaryMarcus为代表。Hinton在X平台上称,“我离开谷歌,就是为了自由地谈论(AI带来的)生存威胁。”

对此,AndrewNg反击道,如果颁布“毁灭派”所希望的监管规定,将阻碍开源开发,并大大减慢创新速度。

YannLeCun也认为,“毁灭派”正无意中帮助那些想通过禁止开放研究、开放源代码以及开放模型来保护自己业务的人,而这将不可避免地导致不良后果。

两个派系的辩论不断升级,继今年3月马斯克带头签署千人联名信,紧急呼吁AI实验室立即暂停研究后,两封新的联名信又出现了。

“毁灭派”牵头签署了一封联名信,呼吁针对人工智能制定一项国际性的条约,从而应对其潜在的灾难性风险。信中提到,“有半数AI研究人员估计,AI可能导致人类灭绝,或人类潜力受到类似灾难性限制的可能性超过10%”。截至发稿,该联名信已有322人签署。

AI监管和开放,到底如何平衡?

图片来源:AITreaty官网

“开源派”则签署了一份呼吁AI研发更加开放的联名信,截至发稿,377名专家都签下了名字。

AI监管和开放,到底如何平衡?

图片来源:mozilla官网辩论升级,开源大模型到底危险吗?

值得注意的是,关于AI发展应该坚持开放还是得到更多严监管的辩论不仅在业界大佬层面,就连民众也开始纷纷站队。

在X平台上,“毁灭派”发起了“BelieveHinton”的话题,并举着标示牌走上了大街。

还有人发起了关于两个派系的投票。

AI监管和开放,到底如何平衡?

图片来源:X

随着全球讨论持续升级,就连OpenAI的首席执行官SamAltman最近在剑桥参加活动时,也遭到了激进分子的强烈抵制,在大礼堂里当面被砸场子。SamAltman后来在演讲中表示,即便未来AI模型足够强大,但也需要巨大的算力才能运行。如果提高了算力门槛,能够降低蓄意犯罪风险,也能提高问责性。

面对如此激烈的争辩,一个问题是,开源AI到底危险吗?

10月20日,来自麻省理工学院和剑桥大学的专家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。

研究人员安排了一场黑客马拉松,17名参与者扮演生物恐怖分子,试图成功获得1918年导致大流行的流感病毒样本。参与者使用两个版本的开源模型,一个是具有内置保护措施的版本,一个是删除了保护措施的版本Spicy。

结果显示,Spicy模型提供了几乎所有需要的关键信息来获取病毒。释放未来能力更强的基础模型的权重,无论有多可靠的保护措施,都可能将引发风险。

站在对立面,AndrewNG认为,“当讨论这些论点的现实性时,我发现它们模糊且不具体,令人沮丧,因为他们归结为‘这可能会发生’”。

纽约大学教授JulianTogelius在一篇文章中讨论了以AI安全的名义监管AI发展到底意味着什么。

他的观点是,“构成最近的生成式AI热潮的神经网络实际上是几年前发明的,符号规划、强化学习和本体论都曾经是‘未来’。科技发展很快,我们不可能知道哪种特定的技术将带来下一个进步。而监管底层技术,对科技进步来说是一种深渊。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-11-04 17:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

马斯克要求OpenAI恢复开源,背后是开源闭源路线之争
...限,但不共享代码。 OpenAI和Anthropic高管认为,政府应该监管最强大的AI模型,这样坏人就不能轻易利用它们
2024-03-09 22:51:00
IBM董事长兼首席执行官观点:如何推进可信的人工智能
...是我们此刻敦促制定政策的领导者要即刻着手制定智慧的监管政策的原因。在 IBM,我们相信,智慧的监管应该基于三个核心原则:#1 需要监管的是AI风险,而不是算法我们应该规范AI
2023-09-27 17:17:00
广东公共资源交易平台一年累计交易金额1.9万亿元 将持续优化风险防控模型
...户、关联投标、抱团投标等高风险迹象进行自动预警,为监管部门对公共资源交易全过程在线实时监管提供便利。与此同时,粤公平平台还上线电子档案查询服务,为行政监督、纪检监察和审计部门
2023-08-22 21:33:00
“不发展是最大的不安全”,我国人工智能如何弯道超车?
...的机遇所在。随着国内生成式人工智能的快速发展,相关监管政策正逐步落地,由国家互联网信息办公室等七部门联合发布的《生成式人工智能服务管理暂行办法》(以下简称《办法》)于8月15
2023-08-28 10:47:00
...文转自:中国质量报为企业信用“吹哨”湖北襄阳市市场监管局打造“信用风险分类+预警监测”新型监管模式本报讯(许超)为营造诚实守信的信用环境,引导企业诚信合法经营,目前湖北省襄阳
2023-07-08 12:32:00
开源AI进入企业!红帽揭秘混合AI落地关键,端到端AI平台三步走
...犯数据隐私、违反数据主权等风险存在,此外行业和政府监管要求高。算法方面,AI模型训练与调优复杂,工具和框架难以选择,模型架构复杂。生态合作方面,企业数据训练和调优模型、部署和
2024-06-14 09:13:00
本文转自:解放日报关注潜在风险,但未回应监管部门关切美技术巨头建AI管控联盟新华社特稿 美国开放人工智能研究中心(OpenAI)、谷歌、微软和Anthropic公司7月26日宣布
2023-07-28 06:03:00
...站6日消息,国家金融监督管理总局办公厅印发《关于强监管防风险促改革推动财险业高质量发展行动方案》(下称《行动方案》)的通知。《行动方案》提出,突出重点分级监管,加强行业重要性
2024-12-07 06:34:00
半年大模型,还在天上飞
...C端都难以做到盈亏平衡,同时还很可能遭遇诸如AI伦理、监管等合规性风险。因此,大模型的行业化、垂直化成为落地需求下的范式转变。反观行业大模型,虽说其产品形态始于落地需求,但是
2023-08-04 13:00:00
更多关于财经的资讯:
中联重科新设子公司,含多项AI业务
近日,中联重科履带起重机(湖南)有限公司成立,注册资本6亿元,经营范围包含:人工智能基础软件开发;卫星遥感应用系统集成;人工智能硬件销售;人工智能基础资源与技术平台等。企查查股权
2025-09-30 16:00:00
广东省环湾农产品流通保供环网私募基金成立,出资额18亿
近日,广东省环湾农产品流通保供环网私募股权投资合伙企业(有限合伙)成立,出资额18亿元,经营范围包含:以私募基金从事股权投资
2025-09-30 16:00:00
四方精创等成立新公司,含多项AI业务
近日,深圳四方智数科技有限公司成立,注册资本1000万元,经营范围包含:人工智能基础软件开发;人工智能行业应用系统集成服务
2025-09-30 16:00:00
国华人寿绍兴中支因编制虚假材料、欺骗投保人被罚70万元
9月30日,国家金融监督管理总局绍兴监管分局行政处罚信息公开表显示,国华人寿保险股份有限公司绍兴中心支公司及相关责任人因编制虚假财务资料;欺骗投保人等违法违规行为被罚款56万元;
2025-09-30 16:01:00
建信人寿浙江分公司因代理人管理不善等问题被罚5000元,两责任人同步领罚
9月30日,国家金融监督管理总局浙江监管局行政处罚信息公开表显示,建信人寿保险股份有限公司浙江分公司及相关责任人因对保险代理人的管理不到位
2025-09-30 16:02:00
中国南方电网在广东成立资源循环公司
近日,南网资源循环(广东)有限公司成立,注册资本2亿元,经营范围包含:供应链管理服务;资源再生利用技术研发;电力行业高效节能技术研发;新兴能源技术研发等。企查查股权穿透显示,该公
2025-09-30 16:12:00
百年人寿山东分公司:一针一线缝制爱国情怀 “金融为民”温暖“星童”康复路
2025年国庆、中秋双节同庆前夕,处处洋溢着喜庆祥和的氛围。9月29日下午,百年人寿山东分公司的公益志愿者们,带着满满的爱心与节日祝福
2025-09-30 16:38:00
金秋送福·双节传情——中华财险潍坊中支走进侯王村敬老送温暖
9月29日,在这金秋送爽的美好时节,恰逢中秋、国庆双节来临之际,中华财险潍坊中支走进全国倡导孝文化模范村、“以孝治村”典范——青州市王坟镇侯王村
2025-09-30 16:39:00
青岛银行:反假币宣传多维发力 筑牢货币安全网 守好群众钱袋子
近日,青岛银行以“筑牢货币安全网 守好群众钱袋子”为主题,启动反假货币宣传月活动,通过传统与线上融合、重点群体精准覆盖
2025-09-30 16:39:00
齐商银行沂源历山支行联合城东社区开展反诈知识宣传讲座
近日,齐商银行沂源历山支行联合城东社区开展筑牢“安全网”、守护居民“钱袋子”反诈知识宣传讲座,现场共有20余名社区工作者和居民参与
2025-09-30 16:39:00
齐商银行助力淄博女企“扬帆出海”
9月28日,由淄博市女企业家协会、张店区妇女联合会主办,齐商银行营业部、张店区女企业家协会承办的“金融赋能·巾帼扬帆”女企出海专题对接会在齐银大厦举行
2025-09-30 16:39:00
百年人寿济宁中支开展“状元红”杯绘画比赛,用童真点亮金秋
金秋送爽,丹桂飘香。当稚嫩的画笔遇上中秋的圆月,会碰撞出怎样的奇思妙想?2025年9月27日,一场别开生面的艺术盛宴——百年人寿济宁中支“状元红”杯绘画比赛
2025-09-30 16:39:00
理念创新见实效 解决商办困局 MFG创始人朱元坤揭示商办资产运营不二法门
香港鼎辰中国有限公司及中国商办运营标杆、知名品牌MFG创始人朱元坤MFG上海滨港商业中心MFG与嘉里建设举行签约仪式 MFG九龙仓成都IFS路演厅日前
2025-09-30 16:40:00
塔湾街地铁口项目迎接外部检查调研
近日,外部领导到中建一局二公司塔湾街地铁口项目进行现场调研,实地察看施工进展与项目安全管理成效。项目位于辽宁省沈阳市皇姑区
2025-09-30 16:40:00
假期坚守岗位 重点工程建设“加速跑”
轰鸣的机械声、往来有序的施工人员……这个中秋国庆假期,中建二局三公司众多重点在建项目建设不停歇、不断档,建设者们放弃与家人团聚的机会
2025-09-30 16:40:00