• 我的订阅
  • 财经

AI监管和开放,到底如何平衡?

类别:财经 发布时间:2023-11-04 13:54:00 来源:财经风云

11月1日,“ChatGPT可能已经有了意识”的话题登上了热搜话题榜。这一言论来自OpenAI首席科学家IlyaSutskeve近期的表态,他认为,ChatGPT背后的神经网络已经产生了意识,未来超级人工智能(AI)将会成为一种潜在风险。

更早之前,10月30日,美国总统拜登签署行政令,将对AI研发和应用制定全面的监管标准,这也是白宫首次发布针对AI的行政令。11月1日,首届全球人工智能安全峰会在英国布莱奇利园召开,中国、美国、英国、欧盟等多方代表签署了一项具有里程碑意义的《布莱切利宣言》,警告了最先进的前沿AI系统所带来的危险。

随着监管层面的加强,业内关于AI风险的大讨论被再次推向高潮。在社交媒体上,许多业内专家对AI构成的生存威胁发出警告,认为开源AI可能会被不良行为者操纵,(例如)更容易制造化学武器,而另一方面,反驳观点则认为这种危言耸听只是为了帮助将控制权集中在少数保护主义公司手中。

辩论不断升级,OpenAI首席执行官SamAltman最近在剑桥参加活动时,甚至遭到了激进分子的强烈抵制。

面对如此激烈的争辩,开源AI到底危险吗?AI监管和开放,到底如何平衡?“毁灭派”大战“开源派”

有关AI风险和监管的讨论在本周又一次被推向高潮。

OpenAI首席科学家IlyaSutskeve近期接受《麻省理工科技评论》采访时认为,ChatGPT背后的神经网络已经产生了意识,未来超级AI将会成为一种潜在风险。此外,拜登首次签署AI行政令,以及首届全球人工智能安全峰会签署《布莱切利宣言》,也预示着AI监管正在逐步收紧。

根据白宫最近新颁布的AI法规规定,对美国国家安全、经济、公共卫生或安全构成风险的AI系统开发商在向公众发布前,需要与美国政府分享安全测试结果,甚至还细致到规定了需要受到监管的AI模型参数。

此举立刻引发了AI业界大佬的论战,主张AI发展应该更加开放的“开源派”认为这会让算法效率的提高陷入困境,而认为AI可能对人类造成巨大风险的“毁灭派”则对此表示认同。

“开源派”以Meta首席AI科学家YannLeCun和斯坦福大学计算机科学系和电气工程系的副教授AndrewNg为代表,他们认为, AI强监管所带来的巨头垄断是从业者和政策制定者该真正关心的问题。

“毁灭派”以“AI教父”GeoffreyHinton、蒙特利尔大学计算机科学教授YoshuaBengio、纽约大学教授GaryMarcus为代表。Hinton在X平台上称,“我离开谷歌,就是为了自由地谈论(AI带来的)生存威胁。”

对此,AndrewNg反击道,如果颁布“毁灭派”所希望的监管规定,将阻碍开源开发,并大大减慢创新速度。

YannLeCun也认为,“毁灭派”正无意中帮助那些想通过禁止开放研究、开放源代码以及开放模型来保护自己业务的人,而这将不可避免地导致不良后果。

两个派系的辩论不断升级,继今年3月马斯克带头签署千人联名信,紧急呼吁AI实验室立即暂停研究后,两封新的联名信又出现了。

“毁灭派”牵头签署了一封联名信,呼吁针对人工智能制定一项国际性的条约,从而应对其潜在的灾难性风险。信中提到,“有半数AI研究人员估计,AI可能导致人类灭绝,或人类潜力受到类似灾难性限制的可能性超过10%”。截至发稿,该联名信已有322人签署。

AI监管和开放,到底如何平衡?

图片来源:AITreaty官网

“开源派”则签署了一份呼吁AI研发更加开放的联名信,截至发稿,377名专家都签下了名字。

AI监管和开放,到底如何平衡?

图片来源:mozilla官网辩论升级,开源大模型到底危险吗?

值得注意的是,关于AI发展应该坚持开放还是得到更多严监管的辩论不仅在业界大佬层面,就连民众也开始纷纷站队。

在X平台上,“毁灭派”发起了“BelieveHinton”的话题,并举着标示牌走上了大街。

还有人发起了关于两个派系的投票。

AI监管和开放,到底如何平衡?

图片来源:X

随着全球讨论持续升级,就连OpenAI的首席执行官SamAltman最近在剑桥参加活动时,也遭到了激进分子的强烈抵制,在大礼堂里当面被砸场子。SamAltman后来在演讲中表示,即便未来AI模型足够强大,但也需要巨大的算力才能运行。如果提高了算力门槛,能够降低蓄意犯罪风险,也能提高问责性。

面对如此激烈的争辩,一个问题是,开源AI到底危险吗?

10月20日,来自麻省理工学院和剑桥大学的专家们发表了一篇论文,他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害,结果发现,开源大模型的确可能存在风险。

研究人员安排了一场黑客马拉松,17名参与者扮演生物恐怖分子,试图成功获得1918年导致大流行的流感病毒样本。参与者使用两个版本的开源模型,一个是具有内置保护措施的版本,一个是删除了保护措施的版本Spicy。

结果显示,Spicy模型提供了几乎所有需要的关键信息来获取病毒。释放未来能力更强的基础模型的权重,无论有多可靠的保护措施,都可能将引发风险。

站在对立面,AndrewNG认为,“当讨论这些论点的现实性时,我发现它们模糊且不具体,令人沮丧,因为他们归结为‘这可能会发生’”。

纽约大学教授JulianTogelius在一篇文章中讨论了以AI安全的名义监管AI发展到底意味着什么。

他的观点是,“构成最近的生成式AI热潮的神经网络实际上是几年前发明的,符号规划、强化学习和本体论都曾经是‘未来’。科技发展很快,我们不可能知道哪种特定的技术将带来下一个进步。而监管底层技术,对科技进步来说是一种深渊。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-11-04 17:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

马斯克要求OpenAI恢复开源,背后是开源闭源路线之争
...限,但不共享代码。 OpenAI和Anthropic高管认为,政府应该监管最强大的AI模型,这样坏人就不能轻易利用它们
2024-03-09 22:51:00
IBM董事长兼首席执行官观点:如何推进可信的人工智能
...是我们此刻敦促制定政策的领导者要即刻着手制定智慧的监管政策的原因。在 IBM,我们相信,智慧的监管应该基于三个核心原则:#1 需要监管的是AI风险,而不是算法我们应该规范AI
2023-09-27 17:17:00
广东公共资源交易平台一年累计交易金额1.9万亿元 将持续优化风险防控模型
...户、关联投标、抱团投标等高风险迹象进行自动预警,为监管部门对公共资源交易全过程在线实时监管提供便利。与此同时,粤公平平台还上线电子档案查询服务,为行政监督、纪检监察和审计部门
2023-08-22 21:33:00
“不发展是最大的不安全”,我国人工智能如何弯道超车?
...的机遇所在。随着国内生成式人工智能的快速发展,相关监管政策正逐步落地,由国家互联网信息办公室等七部门联合发布的《生成式人工智能服务管理暂行办法》(以下简称《办法》)于8月15
2023-08-28 10:47:00
...文转自:中国质量报为企业信用“吹哨”湖北襄阳市市场监管局打造“信用风险分类+预警监测”新型监管模式本报讯(许超)为营造诚实守信的信用环境,引导企业诚信合法经营,目前湖北省襄阳
2023-07-08 12:32:00
开源AI进入企业!红帽揭秘混合AI落地关键,端到端AI平台三步走
...犯数据隐私、违反数据主权等风险存在,此外行业和政府监管要求高。算法方面,AI模型训练与调优复杂,工具和框架难以选择,模型架构复杂。生态合作方面,企业数据训练和调优模型、部署和
2024-06-14 09:13:00
本文转自:解放日报关注潜在风险,但未回应监管部门关切美技术巨头建AI管控联盟新华社特稿 美国开放人工智能研究中心(OpenAI)、谷歌、微软和Anthropic公司7月26日宣布
2023-07-28 06:03:00
...站6日消息,国家金融监督管理总局办公厅印发《关于强监管防风险促改革推动财险业高质量发展行动方案》(下称《行动方案》)的通知。《行动方案》提出,突出重点分级监管,加强行业重要性
2024-12-07 06:34:00
半年大模型,还在天上飞
...C端都难以做到盈亏平衡,同时还很可能遭遇诸如AI伦理、监管等合规性风险。因此,大模型的行业化、垂直化成为落地需求下的范式转变。反观行业大模型,虽说其产品形态始于落地需求,但是
2023-08-04 13:00:00
更多关于财经的资讯:
和风五载,家暖如初,万科悦城和风轩五周年庆典温情启幕
10月19日,一场以“和风五载,家暖如初”为主题的社区庆典在深圳万科悦城和风轩小区温情启幕。此次活动由和风轩业委会与万科物业联合主办
2025-10-24 14:04:00
贵州省大数据局召开“十五五”数据领域规划编制专家建言座谈会
10月21日,省大数据局召开“十五五”数据领域规划编制专家建言座谈会,局党组书记、局长,兼省人民政府副秘书长朱宗尧参加会议并讲话
2025-10-24 14:18:00
国内首次!中国重汽鼎力护航“朱雀三号”问天之路!
近日,朱雀三号遥一运载火箭飞行试验任务已顺利完成第一阶段工作。在这项重大工程的背后,存在各种极限挑战——从嘉兴到酒泉,近四千公里的漫漫征途
2025-10-24 14:28:00
敬老月活动惠老专享,华联超市8折优惠
责任编辑:卢芸竹
2025-10-24 14:33:00
上海电气等成立储能科技公司,含电池制造业务
近日,临沂储能科技有限公司成立,法定代表人为杨霖霖,注册资本为6000万元,经营范围包含:电池零配件生产;电池零配件销售
2025-10-24 14:36:00
海思科新设医药科技公司,注册资本2亿元
近日,海思科医药科技(拉萨)有限公司成立,法定代表人为段鹏,注册资本为2亿元,经营范围包含:专业设计服务;品牌管理;企业管理
2025-10-24 14:36:00
横琴深合轨道交通投资建设公司注册成立
近日,横琴深合轨道交通投资建设有限公司成立,法定代表人为廖雄华,注册资本为3000万元,经营范围包含:轨道交通运营管理系统开发
2025-10-24 14:36:00
金风科技等在江苏成立风电国创科技公司
近日,江苏风电国创科技有限公司成立,法定代表人为高斯,注册资本为1000万元,经营范围包含:认证服务;检验检测服务;专业设计服务
2025-10-24 14:36:00
米哈游新设科技公司,含数字文化创意软件开发业务
近日,上海天丰嘉成科技有限公司成立,法定代表人为于晨曦,经营范围包含:数字文化创意软件开发;数字文化创意内容应用服务;专业设计服务;文艺创作;信息技术咨询服务等。企查查股权穿透显
2025-10-24 14:36:00
东方电气成立风电新能源公司
近日,东方风电(安顺)新能源有限公司成立,法定代表人为王一哲,经营范围包含:发电业务、输电业务、供(配)电业务;风力发电机组及零部件销售
2025-10-24 14:36:00
蔚能电池在海南成立电池科技公司,注册资本6000万
近日,蔚能(澄迈)电池科技有限公司成立,法定代表人为赖晓明,注册资本为6000万元,经营范围包含:电动汽车充电基础设施运营
2025-10-24 14:36:00
保利集团新设科技公司,含智能无人飞行器制造业务
近日,坡镭(江西)科技有限公司成立,法定代表人为谈家新,注册资本为1000万元,经营范围包含:人工智能公共数据平台,人工智能通用应用系统
2025-10-24 14:36:00
金山云海南子公司增资至6亿美元
近日,金山云(海南洋浦)信息科技有限公司发生工商变更,注册资本由5亿美元增至6亿美元,增幅20%。企查查显示,该公司成立于2022年8月
2025-10-24 14:36:00
庄园牧场投资成立农垦乳业研究公司
近日,甘肃农垦乳业研究有限公司成立,法定代表人为陶生俭,注册资本为1000万元,经营范围包含:乳制品生产;生鲜乳收购;饮料生产;食品销售;食品经营管理;检验检测服务等。企查查股权
2025-10-24 14:36:00
豆包联动七家国家一级博物馆,打造AI看展新体验
近日,字节跳动旗下豆包与中国国家博物馆、中国钱币博物馆、河南博物院、山东博物馆、安徽博物院、成都博物馆以及洛阳博物馆七家国家一级博物馆达成合作
2025-10-24 14:42:00