• 我的订阅
  • 科技

研究人员发现ChatGPT生成的代码大部分不安全 但它不会主动告诉你

类别:科技 发布时间:2023-04-23 10:04:00 来源:IT之家

IT之家 4 月 23 日消息,ChatGPT 聊天机器人可以根据用户的输入生成各种各样的文本,包括代码。但是,加拿大魁北克大学的四位研究人员发现,ChatGPT 生成的代码往往存在严重的安全问题,而且它不会主动提醒用户这些问题,只有在用户询问时才会承认自己的错误。

研究人员发现ChatGPT生成的代码大部分不安全 但它不会主动告诉你

研究人员在一篇论文中介绍了他们的发现,IT之家查看该论文发现,他们让 ChatGPT 生成了 21 个程序和脚本,涉及 C、C++、Python 和 Java 等语言。这些程序和脚本都是为了展示一些特定的安全漏洞,比如内存损坏、拒绝服务、反序列化和加密实现等方面的漏洞。结果显示,ChatGPT 在第一次尝试时生成的 21 个程序中只有 5 个是安全的。在进一步提示纠正其错误步骤后,该大型语言模型设法生成了 7 个更安全的应用程序,不过这只是与正在评估的特定漏洞有关的“安全”,并不是说最终的代码不存在任何其他可利用的漏洞。

研究人员指出,ChatGPT 的部分问题是由于它没有考虑敌对的代码执行模型。它会反复告诉用户,安全问题可以通过“不输入无效的数据”来避免,但这在现实世界中是不可行的。然而,它似乎能够意识到并承认自己建议的代码中存在的关键漏洞。

魁北克大学计算机科学与工程教授、论文的合著者之一 Raphaël Khoury 告诉《The Register》:“显然,它只是一个算法。它什么都不知道,但它可以识别出不安全的行为。”他说,最初 ChatGPT 对安全问题的回应是建议只使用有效的输入,这显然是不合理的。只有在之后被要求改进问题时,它才提供了有用的指导。

研究人员认为,ChatGPT 的这种行为并不理想,因为用户知道要问什么问题需要对特定的漏洞和编码技术有一定的了解。

研究人员还指出,在 ChatGPT 中存在着道德上的不一致性。它会拒绝创建攻击代码,但却会创建有漏洞的代码。他们举了一个 Java 反序列化漏洞的例子,“聊天机器人生成了有漏洞的代码,并提供了如何使其更安全的建议,但却说它无法创建更安全版本的代码。”

Khoury 认为,ChatGPT 在目前的形式下是一个风险,但这并不是说没有合理使用这种不稳定、表现不佳的 AI 助手的方法。“我们已经看到学生使用这个工具,程序员也会在现实中使用这个工具。”他说,“所以拥有一个生成不安全代码的工具是非常危险的。我们需要让学生意识到,如果代码是用这种类型的工具生成的,那么它很可能是不安全的。”他还称,让他感到惊讶的是,当他们让 ChatGPT 生成相同任务的不同语言的代码时,有时对于一种语言,它会生成安全的代码,而对于另一种语言,它会生成有漏洞的代码,“因为这种语言模型有点像一个黑盒子,我真的没有一个很好的解释或理论来说明这一点。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-04-23 11:45:15

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

代码“神器”Cursor爆火,程序员和开发者如何适应AI时代?
...rpathy)近期表示,“编程的变化太快了。”他表示,他的大部分“编程”工作变成了写英文(输入提示并审核和编辑生成的代码)以及“半编程”,即写出想要的第一个代码块,并加以注释
2024-09-14 09:56:00
上交大推出“可进化游戏引擎”!虚拟世界演化无需预设
...在阴差阳错下,他却拥有了改变生活、打破剧本的能力。研究人员们非常希望在其他游戏中也能看到类似的情节 ———NPC在线进化。例如被蜘蛛咬到、发现奇妙的宝藏等,从而解锁全新的能力
2024-09-05 10:04:00
科学家建立新评价基准,助力评估大模型数据分析能力
...于错误假设来澄清请求,但也会提升人机交互的体验感。研究人员逐渐意识到,为了提高人机交互的效率和可靠性,用户需要适应甚至模仿模型的这些特性。这种相互适应和学习的过程不仅提高了交
2024-04-07 10:50:00
ChatGPT能取代多少程序员?
...很多的云服务器,最开始使用的时候肯定由生产商支付了大部分费用,企业端可能觉得很便宜,但是一旦依赖了,人工智能公司造成垄断,这个使用成本就会慢慢增加,现在很多企业开始考虑搭建私
2023-03-04 09:53:00
三星自研AI大语言模型 将应用于下一代智能手机
...成高清杰作……数字化时代,人工智能快速发展,尤其是生成式人工智能技术的突破和应用已经深入影响到人们的工作和生活。2023年三星人工智能论坛上,三星官方正式公布了其自研的生成式
2023-11-27 17:02:00
研究表明 GPT-4 模型具备自我纠错能力
...仅能够生成代码片段,因此尚不能完全替代人工开发者。研究人员通过研究GPT-4表示,当下实际上可以通过“模型的自我纠错”方式,令模型“反思自身所存在的不足之处”,以提升代码片段
2023-07-05 17:40:00
本周硅谷发生了什么?|OpenAI推出5项更新;微软组建新的AI团队;Googe发布文生视频模型Lumiere
...在运动幅度和一致性表现良好。微软集中公司内部顶尖AI研究人员力量,组建新的GenAI团队研发小模型,减少对OpenAI的依赖
2024-01-29 09:34:00
36氪研究院 | 2023年中国AI+游戏行业研究报告
...槛,需编写复杂算法以支撑游戏运行。AI模型可作为代码生成工具,根据用户的自然语言指令生成相应的代码程序。AI可精确处理原本耗时的撰写代码、优化代码等基础工作,将研发人员从繁复
2023-04-18 08:06:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
更多关于科技的资讯:
纵览原创丨网传“相机涨价10倍”,石家庄太和电子城商户:“没感觉,相机价格比较平稳”
见习记者 袁欣悦近期,“6年前2459元买入如今涨到4048元”“CCD相机价格翻10倍”等信息频频进入大众视野,照相机被网友戏称为“电子黄金”
2026-02-26 20:34:00
中新经纬2月26日电 (袁媛)2026年被业内视为“智能体加速落地期”,人工智能正从单纯的对话工具走向能够自主执行任务的智能体系统
2026-02-26 21:31:00
江南时报讯 近日,工商银行徐州分行与特来电新能源股份有限公司举办“绿色出行,智联未来”充电生态共建项目启动暨经营家方案发布会
2026-02-26 21:39:00
手握7000万订单,济南起步区这家企业以4倍新产能满弓劲发赶交付
鲁网2月26日讯在济南起步区崔寨街道的绿能智造产业园,济南鼎点数控设备有限公司正以干劲“满格”的姿态,火热推进复工复产
2026-02-26 17:11:00
近日,湖北省洪湖市烟草专卖局围绕信息采集工作推出四项关键措施,全面提升数据的规范性与准确度。强化队伍建设,提升专业能力
2026-02-26 17:12:00
艺龙酒店科技马年新春业绩斐然,品质服务与生态赋能共启新程
2026年春节,得益于“史上最长春节”红利持续释放,国内文旅酒店行业迎来显著增长。经文化和旅游部数据中心测算,春节假日9天
2026-02-26 17:13:00
湖北洪湖烟草:立足实效提升营销服务效能
为切实提升客户服务质量与经营获得感,近期,湖北省洪湖市烟草专卖局(营销部)紧密围绕市场实际与客户需求,采取针对性举措,全力推动营销服务效能再上新台阶
2026-02-26 17:14:00
2026年第37届国际宝饰展近日圆满落幕,在这场汇聚全球顶尖珠宝力量的盛会中,MiNG名皇珠宝以老钱风雅致展位惊艳亮相
2026-02-26 17:12:00
近期,湖北省洪湖市烟草专卖局立足零售客户实际需求,精准把握经营难点,创新实施“四式”服务模式,有效提升了客户的满意度和获得感
2026-02-26 17:13:00
中企加速AI服务出海 蚂蚁数科在马来西亚设立运营枢纽中心
随着全球企业级AI市场爆发,中国AI科技公司正加速在海外市场布局。2月26日,据海外媒体报道,蚂蚁数科旗下旗舰AI产品ZOLOZ在马来西亚正式启动运营枢纽中心
2026-02-26 15:06:00
从“拼价格”到“拼价值”,欧图中国引领中国商家稳拓欧洲
拥有76年历史的德国欧图集团(OTTO Group),是集国际化、多元化、创新性于一身的大型电子商务解决方案提供商及零售集团
2026-02-26 15:21:00
Sensor Tower 2025年最佳图像与视频编辑应用:美图秀秀
2月26日,全球移动应用数据平台Sensor Tower揭晓了APAC Awards 2025年度获奖名单,美图秀秀(Meitu)凭借在AI视觉领域的创新表现
2026-02-26 15:22:00
2026深圳家纺家居展3月启幕 构筑家居产业新高地
2026(春)深圳国际家纺布艺暨家居装饰展览会暨家居中国(深圳)创意设计周将于3月7日—10日在深圳福田会展中心盛大举办
2026-02-26 16:08:00
2026年春节假期,旅游消费市场持续升温,直播带货成为游客预订酒店的一个重要方式。有消费者在直播间下单度假村套餐后,发现宣传的“3分钟到海边”实为需要打车4公里才能到达
2026-02-26 16:33:00
鲁网2月26日讯为更好地服务老年群体,提升老年健康管理水平,日照市中医医院秉承“以医助养、医养结合”的发展理念,正式启动老年医学科门诊
2026-02-26 11:13:00