• 我的订阅
  • 科技

研究人员发现ChatGPT生成的代码大部分不安全 但它不会主动告诉你

类别:科技 发布时间:2023-04-23 10:04:00 来源:IT之家

IT之家 4 月 23 日消息,ChatGPT 聊天机器人可以根据用户的输入生成各种各样的文本,包括代码。但是,加拿大魁北克大学的四位研究人员发现,ChatGPT 生成的代码往往存在严重的安全问题,而且它不会主动提醒用户这些问题,只有在用户询问时才会承认自己的错误。

研究人员发现ChatGPT生成的代码大部分不安全 但它不会主动告诉你

研究人员在一篇论文中介绍了他们的发现,IT之家查看该论文发现,他们让 ChatGPT 生成了 21 个程序和脚本,涉及 C、C++、Python 和 Java 等语言。这些程序和脚本都是为了展示一些特定的安全漏洞,比如内存损坏、拒绝服务、反序列化和加密实现等方面的漏洞。结果显示,ChatGPT 在第一次尝试时生成的 21 个程序中只有 5 个是安全的。在进一步提示纠正其错误步骤后,该大型语言模型设法生成了 7 个更安全的应用程序,不过这只是与正在评估的特定漏洞有关的“安全”,并不是说最终的代码不存在任何其他可利用的漏洞。

研究人员指出,ChatGPT 的部分问题是由于它没有考虑敌对的代码执行模型。它会反复告诉用户,安全问题可以通过“不输入无效的数据”来避免,但这在现实世界中是不可行的。然而,它似乎能够意识到并承认自己建议的代码中存在的关键漏洞。

魁北克大学计算机科学与工程教授、论文的合著者之一 Raphaël Khoury 告诉《The Register》:“显然,它只是一个算法。它什么都不知道,但它可以识别出不安全的行为。”他说,最初 ChatGPT 对安全问题的回应是建议只使用有效的输入,这显然是不合理的。只有在之后被要求改进问题时,它才提供了有用的指导。

研究人员认为,ChatGPT 的这种行为并不理想,因为用户知道要问什么问题需要对特定的漏洞和编码技术有一定的了解。

研究人员还指出,在 ChatGPT 中存在着道德上的不一致性。它会拒绝创建攻击代码,但却会创建有漏洞的代码。他们举了一个 Java 反序列化漏洞的例子,“聊天机器人生成了有漏洞的代码,并提供了如何使其更安全的建议,但却说它无法创建更安全版本的代码。”

Khoury 认为,ChatGPT 在目前的形式下是一个风险,但这并不是说没有合理使用这种不稳定、表现不佳的 AI 助手的方法。“我们已经看到学生使用这个工具,程序员也会在现实中使用这个工具。”他说,“所以拥有一个生成不安全代码的工具是非常危险的。我们需要让学生意识到,如果代码是用这种类型的工具生成的,那么它很可能是不安全的。”他还称,让他感到惊讶的是,当他们让 ChatGPT 生成相同任务的不同语言的代码时,有时对于一种语言,它会生成安全的代码,而对于另一种语言,它会生成有漏洞的代码,“因为这种语言模型有点像一个黑盒子,我真的没有一个很好的解释或理论来说明这一点。”

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-04-23 11:45:15

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

代码“神器”Cursor爆火,程序员和开发者如何适应AI时代?
...rpathy)近期表示,“编程的变化太快了。”他表示,他的大部分“编程”工作变成了写英文(输入提示并审核和编辑生成的代码)以及“半编程”,即写出想要的第一个代码块,并加以注释
2024-09-14 09:56:00
上交大推出“可进化游戏引擎”!虚拟世界演化无需预设
...在阴差阳错下,他却拥有了改变生活、打破剧本的能力。研究人员们非常希望在其他游戏中也能看到类似的情节 ———NPC在线进化。例如被蜘蛛咬到、发现奇妙的宝藏等,从而解锁全新的能力
2024-09-05 10:04:00
科学家建立新评价基准,助力评估大模型数据分析能力
...于错误假设来澄清请求,但也会提升人机交互的体验感。研究人员逐渐意识到,为了提高人机交互的效率和可靠性,用户需要适应甚至模仿模型的这些特性。这种相互适应和学习的过程不仅提高了交
2024-04-07 10:50:00
ChatGPT能取代多少程序员?
...很多的云服务器,最开始使用的时候肯定由生产商支付了大部分费用,企业端可能觉得很便宜,但是一旦依赖了,人工智能公司造成垄断,这个使用成本就会慢慢增加,现在很多企业开始考虑搭建私
2023-03-04 09:53:00
三星自研AI大语言模型 将应用于下一代智能手机
...成高清杰作……数字化时代,人工智能快速发展,尤其是生成式人工智能技术的突破和应用已经深入影响到人们的工作和生活。2023年三星人工智能论坛上,三星官方正式公布了其自研的生成式
2023-11-27 17:02:00
研究表明 GPT-4 模型具备自我纠错能力
...仅能够生成代码片段,因此尚不能完全替代人工开发者。研究人员通过研究GPT-4表示,当下实际上可以通过“模型的自我纠错”方式,令模型“反思自身所存在的不足之处”,以提升代码片段
2023-07-05 17:40:00
本周硅谷发生了什么?|OpenAI推出5项更新;微软组建新的AI团队;Googe发布文生视频模型Lumiere
...在运动幅度和一致性表现良好。微软集中公司内部顶尖AI研究人员力量,组建新的GenAI团队研发小模型,减少对OpenAI的依赖
2024-01-29 09:34:00
36氪研究院 | 2023年中国AI+游戏行业研究报告
...槛,需编写复杂算法以支撑游戏运行。AI模型可作为代码生成工具,根据用户的自然语言指令生成相应的代码程序。AI可精确处理原本耗时的撰写代码、优化代码等基础工作,将研发人员从繁复
2023-04-18 08:06:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
更多关于科技的资讯:
心脏检测只需30秒?中国移动河南公司用AI守护“心”生
大河网讯 “30秒检测、3分钟出结论,贴在手指就能完成专业级心电检测,这枚‘装在口袋里的心电图机’,正让心血管疾病早筛变得简单
2026-01-26 14:10:00
福建首个OPC共生社区在厦落地技术、算力加持,打造AI“抱团”创业新模式东南网1月26日讯 (海峡导报记者 刘彦玫) 人工智能技术的裂变式发展
2026-01-26 15:55:00
腾讯元宝内测“元宝派”,探索社交AI新形态
1月26日,腾讯旗下AI助手元宝低调开启全新社交AI玩法“元宝派”内测。从目前流出的内测截图来看,用户可以选择创建一个“派”
2026-01-26 15:56:00
鲁网1月26日讯会议收集的37条意见及建议正形成落实整改方案向公司党委会汇报。2025年以来,临沂联通以“倾听一线声音”的改革行动正持续释放效能
2026-01-26 16:29:00
临沂联通完成全市首个5G LAN业务验证落地 赋能多场景应用
鲁网1月26日讯近日,山东联通省市协同,在临沂顺利完成山东联通首个5G LAN业务落地验证工作,成功实现了基于5G专网与5G LAN技术的大二层组网部署
2026-01-26 16:31:00
自主干活能手登陆央视春晚舞台,银河通用为官方指定具身大模型机器人
1月25日,中央广播电视总台正式官宣,银河通用机器人正式成为总台2026年春节联欢晚会指定具身大模型机器人。当传承中华文脉的除夕守岁邂逅引领全球科技的具身智能企业
2026-01-26 16:59:00
再获认可!豌豆思维荣获“胡润百富2025年度素质教育影响力品牌”
2026年1月25日,豌豆思维凭借在课程创新与教学服务上的扎实实践,荣膺“胡润百富2025年度素质教育影响力品牌”称号
2026-01-26 16:59:00
心有归处,风行万里 | 第20届时尚旅游金榜盛典圆满落幕
1月23日,由《时尚》杂志社主办,《时尚旅游》杂志社承办的第20届《时尚旅游》金榜盛典在北京瑰丽酒店落下帷幕。本届盛典以“心有归处
2026-01-26 14:58:00
故城“焦”点:一位经销商与古贝春的二十三年长跑
古贝春故城经销商焦所维鲁网1月26日讯(记者 吴美琳)在冀鲁交界的故城县,白酒市场风起云涌,品牌大战如火如荼。然而,有一面旗帜二十三年始终屹立——古贝春
2026-01-26 14:08:00
章丘首店!三联家电强势入驻济南章丘世茂广场
鲁网1月26日讯山东家电零售领域的领军品牌——“三联家电”,近日传来重磅消息:其章丘区域首店正式落户章丘世茂广场!这一标志性举措
2026-01-26 14:08:00
哪些燃气热水器有一级能效?2026年高效热水器权威之选
在家庭能源消耗中,燃气热水器占据着显著比例。选择一台真正的一级能效产品,已成为2026年精明消费者的共识。这不仅是响应绿色低碳生活的号召
2026-01-26 11:13:00
科技赋能护平安!中国移动江苏公司无人机“空中巡查”守护市集烟火气
近日,宜兴CO.Five国际青年社区不凡市集火热开市,吸引了众多国内游客和国际青年前来打卡。市集上琳琅满目的手工艺品、特色美食与互动游戏
2026-01-26 11:14:00
2026 新年限定零食礼包推荐:全家共享的年味优选
2026 年新春将至,兼具新年限定属性与家庭装适配性的零食礼包,成为消费者走亲访友、居家欢聚的核心选择。中国广告主协会 x 艾媒咨询《2025 年中国新消费趋势洞察报告暨品牌营销 20 周年发展报告》指出
2026-01-26 11:45:00
即食海参十大领军品牌:蓬莱深奥 —— 以军工品质赋能海参深加工产业
在国产即食海参市场,品牌实力与产品品质始终是消费者与合作方的核心考量。而蓬莱深奥生物科技研究所(以下简称 “蓬莱深奥”)作为兼具 “即食海参领军品牌”与 “优质代工厂”双重属性的标杆企业
2026-01-26 11:45:00
MiniLED电视推荐-想买MiniLED电视别急着掏钱!先想清楚这四笔钱怎么花最值
你是不是也这样:下班回家想看电影放松,屏幕却反着窗户的光,主角的脸都看不清;周末朋友来家里看球赛,坐边上的兄弟抱怨颜色发灰
2026-01-26 11:45:00