• 我的订阅
  • 教育

研究发现ChatGPT并非可靠信源

类别:教育 发布时间:2023-05-29 05:46:00 来源:每日看点快看

本文转自:解放日报

多伦多

研究发现ChatGPT并非可靠信源

加拿大科学家在日前出版的《放射学》杂志上刊登新论文称,最新版本的ChatGPT通过了美国放射学委员会的考试,突出了大型语言模型的潜力,但它也给出了一些错误答案,表明人们仍需对其提供的答案进行核查。

为评估ChatGPT在美国放射学委员会考试问题上的表现并探索其优势和局限性,多伦多大学研究人员首先测试了基于GPT-3.5的普通版ChatGPT的表现。研究团队使用了150道选择题,这些选择题与加拿大皇家学院和美国放射学委员会考试的风格、内容和难度相当。这些问题不包括图像,分为低阶(知识回忆、基本理解)和高阶(应用、分析、综合)思维问题。高阶思维问题可进一步细分为影像学表现描述、临床管理、计算和分类、疾病关联。

研究人员发现,基于GPT-3.5的普通版ChatGPT的正确率为69%,接近70%的及格线。该模型在低阶思维问题上表现相对较好,正确率为84%,但回答高阶思维问题时表现不佳,正确率仅为60%。与此同时,基于GPT-4的加强版ChatGPT完成这些题目的正确率为81%,且在高阶思维问题上的正确率为81%,远好于普通版,但它在低阶思维问题上的正确率仅为80%,答错了12道题,而普通版ChatGPT全部答对了这些题目,这引发了研究团队对加强版ChatGPT收集信息的可靠性的担忧。

这两项研究都表明,ChatGPT会有提供不正确答案的倾向,如果仅仅依靠它获取信息,那将非常危险,因为人们可能意识不到其给出的答案是不准确的,这是它目前面临的最大的问题。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-05-29 07:45:14

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

逢考必过?新版ChatGPT通过美放射学委员会考试
...和难度相当。对此,研究人员发现,基于GPT-3.5的ChatGPT的正确率为69%,接近70%的及格线。该模型在低阶思维问题上表现相对较好
2023-05-18 11:00:00
南京九中“动生课堂” 吸引全市专家教师观摩
...情况明显提升,三个年级每天离校前作业基本全部完成,正确率也显著提高;九中高考成绩不断突破,各项数据都达到历史新高,2024届高三在最近一次模考中,49位同学进入全市前1800
2024-04-10 00:57:00
经开区:课堂为本,打好“双减”落地“质量拳”
...学即时反馈。课堂教学中,运用手势反馈等形式灵活统计正确率,针对错误率大于40%的知识点即时调整教学,进行专项训练。作业诊断。作业批改时,先标记高频错题,再进行归因分析,查找学
2025-04-02 10:31:00
大模型权威报告:讯飞星火得分第一
...,其中Python主要以简答形式评估大模型的代码生成能力和正确率,其他则以客观题的形式考察。结果显示,讯飞星火80%的得分率明显高于71%的平均值,其他平台得分率基本相当。值
2023-08-18 09:35:00
DeepSeek/o3的弱点找到了!三心二意 明明对了又改错了
...种“无效努力”不仅浪费计算资源,还显著降低了答案的正确率。“三心二意”是罪魁祸首这一现象在解决数学竞赛题等更为复杂任务时尤为明显
2025-02-04 19:41:00
...题,三年级平均得分为71.7分。从题型来看,口算题平均正确率为83.2%,笔算题为66.8%,混合运算为60.4%
2026-03-13 07:34:00
...能够自动采集学生学习过程数据,包括任务完成率、练习正确率、口语输出表现与学习投入程度,并生成可视化学习档案。教师基于档案实施诊断性评价,对学生在语音、词汇、语法、语篇理解与交
2026-02-13 07:35:00
...对大约一半的答案,经过数百次试验,这组鸽子最终将其正确率提高到平均68%。该实验的目的在于发现简单的联想机制能在多大程度上解决一项可能给人造成困难的任务,因为人类严重依赖规则
2023-02-11 17:57:00
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...,当在 op≤21 的题目上进行训练时,模型不仅能达到 99% 正确率,还能在更高难度的题目(如 op=32)上保持 83% 的正确率(见图 3)
2024-08-06 09:27:00
更多关于教育的资讯:
校企联动 河南工程学院2026春季双选会搭建就业供需桥梁
3月12日上午,河南工程学院2026年春季大型双选会(综合类)在该校龙湖校区举行。现场,该校党委书记解伟一行走访企业展位
2026-03-13 19:00:00
新春第一会,许昌学院今年这么干
大河网讯 3月9日下午,许昌学院召开2026年工作部署会议,深入贯彻落实全国、全省教育工作会议精神,总结工作、分析形势
2026-03-13 19:00:00
非遗润童心 礼乐传匠心 济南历下一幼非遗进校园活动点亮课堂
鲁网3月13日讯为深入落实立德树人根本任务,厚植幼儿文化自信与家国情怀,2026年3月13日,济南市历下区第一实验幼儿园开展“非遗润童心·礼乐传匠心”主题非遗进校园活动
2026-03-13 17:03:00
快乐小路队 文明伴我行 济南市历下区第一实验幼儿园开展路队礼仪主题活动
鲁网3月13日讯为了让孩子们在离园时更加安全、有序,进一步培养良好的生活习惯与规则意识,营造温馨、文明的离园氛围,近日
2026-03-13 15:16:00
雅韵润教坛 无锡新吴区社区学院开展非遗体验活动
阳春三月,芳华绽放。在“三八”国际妇女节到来之际,无锡市新吴区社区学院以“雅韵润教坛 芳华绽新吴”为主题,精心策划开展扎染
2026-03-13 16:10:00
走进藏在高校的博物馆
近年来,“博物馆热”持续升温。其中,高校博物馆数量不算多,甚至不为大众所熟知,但其中不少已成为国家一级博物馆。 《藏在高校的博物馆》是国内首部聚焦高校博物馆珍藏
2026-03-13 16:22:00
从单打独斗到抱团攻坚!这所职院的师资培育新模式太圈粉
大河网讯 “刚来学校工作的时候,心里特别没底,教学、工作方方面面都得自己一点点摸索,虽说有老教授带教,却总怕学不好、跟不上
2026-03-13 16:26:00
大河网讯 近日,科睿唯安(Clarivate Analytics)发布最新ESI(Essential Science Indicators
2026-03-13 16:27:00
近年来,黄河科技学院坚持以习近平新时代中国特色社会主义思想为指导,突出“深、活、实”丰富多样的实践探索,将伟大建党精神与“开拓
2026-03-13 11:51:00
郑州信息工程职业学院举行2026年植树节活动
大河网讯 春风拂绿,万物复苏。3月12日,郑州信息工程职业学院以“共植绿意,筑美校园”为主题,成功举办了2026年植树节活动
2026-03-13 11:51:00
耕艺园里忙春耕 红升幼儿园萌娃变身“护绿小天使”
荆楚网(湖北日报网)讯(记者林杉 通讯员闫鸽)三月的暖风吹过,武汉经济技术开发区红升幼儿园的“耕艺生态园”里,油菜花开得正盛
2026-03-12 21:59:00
护绿植树节 萌娃“听诊”大树心跳
荆楚网(湖北日报网)讯(记者林杉 通讯员夏雪敏)3月11日上午,江夏区实验幼儿园一园两区同步开展植树节主题活动。实验园中班幼儿走进体育馆公园
2026-03-12 21:59:00
春播日里种下“绿色心愿” 薛峰萌娃植树节里忙耕种
荆楚网(湖北日报网)讯(记者林杉 通讯员苏娟娟)挥锄挖坑、移栽幼苗、拓印作画……3月12日,薛峰幼儿园以“春播万物,植梦童心”为主题
2026-03-12 22:00:00
把正确政绩观种进春天里 东湖路学校党日活动播撒一片新绿
荆楚网(湖北日报网)讯(记者林杉 通讯员周尚书 何宗兴)3月12日上午,江夏区青龙山森林公园里迎来了一群特殊的“植树人”
2026-03-12 22:00:00
汉南网红沙滩来了“绿马甲” 纱帽山幼儿园党员春日“追锋”
荆楚网(湖北日报网)讯(记者林杉 通讯员江敏)春风拂面,汉南网红沙滩迎来游客高峰。3月11日下午,纱帽山幼儿园党工团联合组织党员志愿者
2026-03-12 22:00:00