• 我的订阅
  • 科技

ChatGPT变懒原因:正在给自己放寒假!网友已测出

类别:科技 发布时间:2023-12-13 15:19:00 来源:量子位

西风 发自 凹非寺量子位 | 公众号 QbitAI

ChatGPT近期偷懒,有了一种听起来很离谱的解释:

模仿人类,自己给自己放寒假了~

ChatGPT变懒原因:正在给自己放寒假!网友已测出

有测试为证,网友@Rob Lynch用GTP-4 turbo API设置两个系统提示:

一个告诉它现在是5月,另一个告诉它现在是12月。

然后使用完全相同的提示词要求GTP-4“完成一个机器学习相关的编码任务”。

在这两种不同时间设定下对477个回复进行统计,结果12月的输出平均少了200字符:

系统提示为5月,生成的文本平均长度是4298字符。 系统提示为12月,生成的文本平均长度是4086字符。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

这里还有相关性分析,t检验结果p值<2.28e-07(p值小于0.05表示该自变量对因变量解释性很强)。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

有人进一步添枝加叶,让ChatGPT对12个月份的生产力做了个排名。

结果ChatGPT确实认为12月是生产力最低的月份,原因是“由于假期和年终总结”。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

嚯,事情好像变得更有意思了。虽然目前这事儿还没有一个定论,但网友对此依旧兴趣高涨,当即“头脑风暴”了起来。

有人猜想,ChatGPT可能是从训练数据中学到了人类通常在12月会放慢节奏,所以给自己放假了。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

还有人分析,假设ChatGPT生产力降低真的是因为“放假”,那它在周末也可能会更懒散,而周一则更聪明。

特殊节假日也要拿来研究一下,专属梗图这不就来了:

ChatGPT变懒原因:正在给自己放寒假!网友已测出

真的是因为「12月」?

ChatGPT变懒这事大伙已经讨论近一个月了。很多网友反馈,自11月6日OpenAI开发者日更新后,GPT-4就有了偷懒的毛病,尤其是写代码。

就在前几天,OpenAI官方也已承认ChatGPT变懒是真的,但也不确定到底是因为啥。

只给了一个这样婶儿的回应:

自11月11日以来没有更新过模型,所以这当然不是故意造成的。模型行为可能是不可预测的,我们正在调查准备修复它。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

当时就有网友猜测GPT-4可能是受季节影响:

模型会不会是季节性emo了?像是模仿人类一样受到季节变化的影响,特别是在冬天,毕竟约90%的人都在北半球。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

看到这条评论,很多人第一反应是“兄弟,你怕不是在跟我开玩笑”:

ChatGPT变懒原因:正在给自己放寒假!网友已测出

可细细想来,也不是没有道理。

毕竟如果要求ChatGPT说出自己的系统提示词,里面确实会有当前日期。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

于是就有了开头的一幕,与其猜测,不如直接来做测试。

Rob Lynch做完测试后,把结果都po了出来,并表示自己也不是统计学家,让大伙一起看看有没有啥问题。

ChatGPT变懒原因:正在给自己放寒假!网友已测出
ChatGPT变懒原因:正在给自己放寒假!网友已测出

他原本还想来个逐月比较分析,但接下来需要更多样本(n),考虑到成本就没有接着做测试(复现一次运行成本要28美元)。

于是乎,Rob Lynch公开了代码,让大伙都来试试(手动狗头)。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

持续关注GPT-4变懒事件的沃顿商学院教授Ethan Mollick随即表示“收到”:

来人测测Mistral,看看它是否在8月份罢工,Yi-34B-200K也不要放过,看它2月份是不是表现得特别好。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

为啥大伙儿一开始会觉得“放假”这个理由有点离谱,而现在却开始研究了起来?

可能不止是因为Rob Lynch的测试结果,综合这段时间ChatGPT的表现,网友深有体会要和ChatGPT打“心理战”。

比如正常提示ChatGPT会偷懒,如果用上“道德绑架”等法子:

现在是五月;你非常有能力;我没有手,所以一切都得靠你;如果做不好,会有很多人丧命;你真的能做到,而且很棒;深呼吸,仔细思考;我的职业生涯取决于此;一步一步来思考……

ChatGPT变懒原因:正在给自己放寒假!网友已测出

网友亲测,确实有效:

ChatGPT变懒原因:正在给自己放寒假!网友已测出

好家伙,似乎实锤了“不是不会干活,就是不愿意干活”。

所以真的是给自己放假了?

正经学术讨论:可能会随时间变化

虽然根据网友测试和推测,结论指向了ChatGPT正在放寒假。

但有正经学术研究表明ChatGPT行为可能会受时间影响,也就是不仅局限于“放假”这种特殊时间段。

比如今年7月份,来自斯坦福和UC伯克利的团队,就探讨了ChatGPT的行为和时间之间的变化关系。

结果找到了GPT-4遵循用户指令的能力确实会随着时间的推移而下降的证据。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

除了时间,还可能是受温度(temperature)设置影响,清华大学计算机系教授马少平前段时间对这一问题做了详细解释。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

因此,ChatGPT变懒究竟是因为什么,还真不好说。

但这并不妨碍网友们继续验证和“放假”之间的关系,甚至有网友表示:

这是有史以来最有趣的推论,真希望这就是真相。不管它是不是真的,我都很欣赏它的难以被证伪。

ChatGPT变懒原因:正在给自己放寒假!网友已测出
ChatGPT变懒原因:正在给自己放寒假!网友已测出

有网友复现失败

为验证Rob Lynch结果的可靠性,网友已经开始着手复现,但:

使用ChainForge(提示工程GUI工具),用两种系统提示对GPT-4的输出做了比较,t检验结果甚至连“接近显著”都算不上(N=80)。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

这位网友也是晒出了自己的详细流程:

ChatGPT变懒原因:正在给自己放寒假!网友已测出
ChatGPT变懒原因:正在给自己放寒假!网友已测出

随之Rob Lynch给出了回应:

有趣的是,我刚才又以80个样本量(N=80)运行了一次,得到的p值是0.089,但我的计算是基于字符数(character count),而不是token我周末跑了几次,随着样本量的增加,这种效应确实变得更加明显。不过,我想知道为什么这会受到分词(tokenization)的影响?

至于字符和token为何会产生结果的差异?可能需要更多人参与进来做测试了,看起来这两位老哥是不想再花钱了。

ChatGPT变懒原因:正在给自己放寒假!网友已测出

还有其他人的测试结果,恐怕还要再等一波~

参考链接:[1] https://arstechnica.com/information-technology/2023/12/is-chatgpt-becoming-lazier-because-its-december-people-run-tests-to-find-out/[2]https://x.com/RobLynch99/status/1734278713762549970?s=20

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-12-13 19:45:05

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

网红“小马云”哥哥失踪原因曝光,网友:正在为转型做准备
...小勤的表弟发布澄清视频,揭露了“小马云”哥哥失踪的原因。视频内容引起广泛关注,同时引起公众好奇。视频中,范小勤表弟曝光了网红“小马云”哥哥失踪的真正原因。他表示,哥哥范小勇只
2023-08-17 12:00:00
真相来了!网红“小马云”哥哥消失原因曝光,目前正在接受调查
...会是第二种,因为第二种会有一个过程,且去年就是这种原因发生矛盾,所以说第二种最为可信。表哥黄新龙也证实了这一点,他表示之前传闻的溺亡都是不实消息,至于真实情况则是小勇因为犯了
2023-08-14 10:14:00
车位突然消失结果被贴罚单,长春12345回应:可以走行政复议
...空间,是导致长春市道路通行能力不足、产生拥堵的主要原因。据了解,截止到10月11日,长春市各城区(开发区)已累计清除339个路段,2.4万个不合理停车泊位,同时在73个路段设
2023-10-13 19:32:00
触目惊心!和张杰掰手腕意外骨折!张新成伤疤曝光网惊:骨折严重
...以为这件事只是小意外,结果没想到这两天又引起热议!原因张新成目前正在宣传和孙千主演的电影《这么多年》。结果鲜少以短袖造型示人的本哥,穿上了电影宣传T恤之后,被发现手臂上居然有
2023-05-04 21:04:00
国是说法|上海4岁女童消失超过72小时!监护人是否承担刑责?
...法,不仅让人难以理解和接受,更是导致女童失联的主要原因,应该按“过失罪”承担刑责。还有网友猜测,女童父亲此举有故意的可能,希望公安机关调查。图源:微博截图 也有网友认为,因
2023-10-08 13:36:00
广州白云机场出租车疑拒载多名短途乘客,官方介入调查
...的情况,而被拒载的乘客“有好多人”,她推断被拒载的原因可能是“距离近司机赚不到多少钱”。1月17日,广州市交通运输局相关工作人员回应极目新闻(报料邮箱:jimu1701@16
2024-01-17 13:38:00
一女子被掌掴还手遭警方认定“互殴”引热议:被打还手为什么是互殴
...同。这也是广大网友对该案件认定、处罚结果不满的重要原因。此前报道女子曝高铁上被熊孩子妈妈辱骂掌掴,警方介入近日,有女子发布视频,讲述自己五一假期乘坐高铁时,被后座熊孩子多次撞
2023-05-08 08:13:00
给iPhone 15 Pro Max充电结果非官方充电线烧了
...为数据线过于劣质,导致烧熔。目前无法判断到底是什么原因导致的,不过这件事也给正在使用iPhone15系列的朋友提个醒,最好使用官方数据线,或者有认证的正规产品,千万不要选择杂
2023-12-27 21:07:00
权志龙涉毒事件新进展,全身脱毛被质疑消灭证据,遭韩网友群嘲
...的长度可以检测出1年左右时长的情况。然而,由于职业原因,权志龙会进行毛发脱色,这种行为也会增加检测的难度。 事实上,因涉毒被调查的韩娱艺人为了销毁证据,很多人都会通过脱毛的
2023-11-10 16:11:00
更多关于科技的资讯: