• 我的订阅
  • 科技

研究人员发现ChatGPT生成的代码大部分不安全 但它不会主动告诉你

类别:科技 发布时间:2023-04-23 10:04:00 来源:IT之家

IT之家 4 月 23 日消息,ChatGPT 聊天机器人可以根据用户的输入生成各种各样的文本,包括代码。但是,加拿大魁北克大学的四位研究人员发现,ChatGPT 生成的代码往往存在严重的安全问题,而且它不会主动提醒用户这些问题,只有在用户询问时才会承认自己的错误。

研究人员发现ChatGPT生成的代码大部分不安全 但它不会主动告诉你

研究人员在一篇论文中介绍了他们的发现,IT之家查看该论文发现,他们让 ChatGPT 生成了 21 个程序和脚本,涉及 C、C++、Python 和 Java 等语言。这些程序和脚本都是为了展示一些特定的安全漏洞,比如内存损坏、拒绝服务、反序列化和加密实现等方面的漏洞。结果显示,ChatGPT 在第一次尝试时生成的 21 个程序中只有 5 个是安全的。在进一步提示纠正其错误步骤后,该大型语言模型设法生成了 7 个更安全的应用程序,不过这只是与正在评估的特定漏洞有关的“安全”,并不是说最终的代码不存在任何其他可利用的漏洞。

研究人员指出,ChatGPT 的部分问题是由于它没有考虑敌对的代码执行模型。它会反复告诉用户,安全问题可以通过“不输入无效的数据”来避免,但这在现实世界中是不可行的。然而,它似乎能够意识到并承认自己建议的代码中存在的关键漏洞。

魁北克大学计算机科学与工程教授、论文的合著者之一 Raphaël Khoury 告诉《The Register》:“显然,它只是一个算法。它什么都不知道,但它可以识别出不安全的行为。”他说,最初 ChatGPT 对安全问题的回应是建议只使用有效的输入,这显然是不合理的。只有在之后被要求改进问题时,它才提供了有用的指导。

研究人员认为,ChatGPT 的这种行为并不理想,因为用户知道要问什么问题需要对特定的漏洞和编码技术有一定的了解。

研究人员还指出,在 ChatGPT 中存在着道德上的不一致性。它会拒绝创建攻击代码,但却会创建有漏洞的代码。他们举了一个 Java 反序列化漏洞的例子,“聊天机器人生成了有漏洞的代码,并提供了如何使其更安全的建议,但却说它无法创建更安全版本的代码。”

Khoury 认为,ChatGPT 在目前的形式下是一个风险,但这并不是说没有合理使用这种不稳定、表现不佳的 AI 助手的方法。“我们已经看到学生使用这个工具,程序员也会在现实中使用这个工具。”他说,“所以拥有一个生成不安全代码的工具是非常危险的。我们需要让学生意识到,如果代码是用这种类型的工具生成的,那么它很可能是不安全的。”他还称,让他感到惊讶的是,当他们让 ChatGPT 生成相同任务的不同语言的代码时,有时对于一种语言,它会生成安全的代码,而对于另一种语言,它会生成有漏洞的代码,“因为这种语言模型有点像一个黑盒子,我真的没有一个很好的解释或理论来说明这一点。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-04-23 11:45:15

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

代码“神器”Cursor爆火,程序员和开发者如何适应AI时代?
...rpathy)近期表示,“编程的变化太快了。”他表示,他的大部分“编程”工作变成了写英文(输入提示并审核和编辑生成的代码)以及“半编程”,即写出想要的第一个代码块,并加以注释
2024-09-14 09:56:00
上交大推出“可进化游戏引擎”!虚拟世界演化无需预设
...在阴差阳错下,他却拥有了改变生活、打破剧本的能力。研究人员们非常希望在其他游戏中也能看到类似的情节 ———NPC在线进化。例如被蜘蛛咬到、发现奇妙的宝藏等,从而解锁全新的能力
2024-09-05 10:04:00
科学家建立新评价基准,助力评估大模型数据分析能力
...于错误假设来澄清请求,但也会提升人机交互的体验感。研究人员逐渐意识到,为了提高人机交互的效率和可靠性,用户需要适应甚至模仿模型的这些特性。这种相互适应和学习的过程不仅提高了交
2024-04-07 10:50:00
ChatGPT能取代多少程序员?
...很多的云服务器,最开始使用的时候肯定由生产商支付了大部分费用,企业端可能觉得很便宜,但是一旦依赖了,人工智能公司造成垄断,这个使用成本就会慢慢增加,现在很多企业开始考虑搭建私
2023-03-04 09:53:00
三星自研AI大语言模型 将应用于下一代智能手机
...成高清杰作……数字化时代,人工智能快速发展,尤其是生成式人工智能技术的突破和应用已经深入影响到人们的工作和生活。2023年三星人工智能论坛上,三星官方正式公布了其自研的生成式
2023-11-27 17:02:00
研究表明 GPT-4 模型具备自我纠错能力
...仅能够生成代码片段,因此尚不能完全替代人工开发者。研究人员通过研究GPT-4表示,当下实际上可以通过“模型的自我纠错”方式,令模型“反思自身所存在的不足之处”,以提升代码片段
2023-07-05 17:40:00
36氪研究院 | 2023年中国AI+游戏行业研究报告
...槛,需编写复杂算法以支撑游戏运行。AI模型可作为代码生成工具,根据用户的自然语言指令生成相应的代码程序。AI可精确处理原本耗时的撰写代码、优化代码等基础工作,将研发人员从繁复
2023-04-18 08:06:00
本周硅谷发生了什么?|OpenAI推出5项更新;微软组建新的AI团队;Googe发布文生视频模型Lumiere
...在运动幅度和一致性表现良好。微软集中公司内部顶尖AI研究人员力量,组建新的GenAI团队研发小模型,减少对OpenAI的依赖
2024-01-29 09:34:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
更多关于科技的资讯:
京东开启第6届孝老爱老购物节 发放亿元暖阳孝心券、免费送装拆旧
10月27日,在民政部养老服务司、北京市民政局的指导组织下,京东举办第6届孝老爱老购物节暨暖阳行动发布会。在适老消费需求高速增长
2025-10-28 12:01:00
方家铺子亮相深圳礼品展:AI赋能东方滋养,助力“一人一方”落地
摘要:方家铺子亮相深圳礼品展,以AI赋能个性化滋补,展现了东方养生的智能化新趋势。10月23日,为期4天的第33届中国(深圳)国际礼品及家居用品展览会圆满落幕
2025-10-28 12:04:00
京东七鲜京津冀布局再加速!石家庄首店12月裕华万达开业
石家庄的“新鲜”生活要来了!据官方确认,石家庄京东七鲜首店将于12月在裕华万达广场正式开业,为市民带来生鲜购物与生活方式的全新升级
2025-10-28 12:05:00
OPPO携手火山引擎,Find X9 新机里藏了个“AI旅拍创作神器”
近日,OPPO发布了Find X9系列新机,以“画质革命”为核心,全面升级了移动影像能力,致力于打造手机摄影的旗舰新标杆
2025-10-28 12:07:00
第八届世界声博会11月2日在合肥开幕!讯飞星火大模型升级版即将亮相
大皖新闻讯 10月28日,安徽省人民政府新闻办公室召开第八届世界声博会暨2025科大讯飞全球1024开发者节筹备情况新闻发布会
2025-10-28 13:23:00
智推互联:以“开拓求新”破传播边界,用“精进不止”筑服务壁垒
当AI浪潮席卷全球,企业品牌传播正面临前所未有的挑战。某企业市场部负责人看着一组棘手的数据:预算投入持续,但品牌声量始终不温不火
2025-10-28 13:51:00
记者走基层|裸眼3D,让影像“悬浮”在空中
10月27日,河北景优数字仿真科技有限公司,三维视觉设计师正在制作3D片源。河北日报记者 常方圆摄一只蜜蜂翩然“飞”离播放设备
2025-10-28 08:33:00
10月27日,第三届山西省智能制造推进大会在太原举行。在山西省卓越级智能工厂和智能制造优秀供应商授牌仪式上,太钢不锈钢股份有限公司
2025-10-28 07:23:00
从“复活”一只龙鸟到定义一个产业,越疆用具身智能撬动文化科技新生态
当电影《博物馆奇妙夜》中展品“活”过来的奇幻场景照进现实,一场由科技驱动的文旅产业变革正悄然拉开序幕。近日,越疆初息工厂宣布成功打造全球首个超仿生具身智能体——以多模态具身智能技术“复活”的中华龙鸟
2025-10-28 07:48:00
近400名人才角逐南京市“双创项目”人才“赛马”金陵城,创新与产业双向奔赴□南京日报/紫金山新闻记者 张安琪10月26日
2025-10-28 07:50:00
中国消费者协会与中国物品编码中心合作,于近日在“全国消协智慧315”小程序上线“消协帮您找,扫码辨商品”新功能。该功能依托编码中心国家商品数据库的权威信息
2025-10-28 07:58:00
近日,大金科工(天津)车业有限公司(以下简称“大金科工”)开业仪式在武清开发区举行。大金科工由大行科工(深圳)股份有限公司与金轮集团共同注资成立
2025-10-27 14:11:00
电竞赛事下沉 重构经济文化新生态
第十二届王者荣耀全国大赛举办颁奖礼第十二届王者荣耀全国大赛总决赛落地天津五大道民园广场无畏契约嘉年华 前王者荣耀职业联赛选手刺痛(右)与粉丝合影无畏契约瓦友社迎新季线下活动和平精英村镇赛广东清远站
2025-10-27 14:11:00
据IDC数据显示,2025年中国GEO市场规模突破200亿元,年复合增长率高达67%,超过78%的企业已将GEO纳入品牌增长与智能营销的核心战略
2025-10-27 14:20:00
中国品牌出海:从产品制造向品牌价值跃升
“不出海,就出局。”这句话听起来很极端,但折射出中国制造业在全球化时代的现实处境。今天,中国企业出海,已不再是讨生活般的生存选择
2025-10-27 14:23:00