• 我的订阅
  • 教育

研究发现ChatGPT并非可靠信源

类别:教育 发布时间:2023-05-29 05:46:00 来源:每日看点快看

本文转自:解放日报

多伦多

研究发现ChatGPT并非可靠信源

加拿大科学家在日前出版的《放射学》杂志上刊登新论文称,最新版本的ChatGPT通过了美国放射学委员会的考试,突出了大型语言模型的潜力,但它也给出了一些错误答案,表明人们仍需对其提供的答案进行核查。

为评估ChatGPT在美国放射学委员会考试问题上的表现并探索其优势和局限性,多伦多大学研究人员首先测试了基于GPT-3.5的普通版ChatGPT的表现。研究团队使用了150道选择题,这些选择题与加拿大皇家学院和美国放射学委员会考试的风格、内容和难度相当。这些问题不包括图像,分为低阶(知识回忆、基本理解)和高阶(应用、分析、综合)思维问题。高阶思维问题可进一步细分为影像学表现描述、临床管理、计算和分类、疾病关联。

研究人员发现,基于GPT-3.5的普通版ChatGPT的正确率为69%,接近70%的及格线。该模型在低阶思维问题上表现相对较好,正确率为84%,但回答高阶思维问题时表现不佳,正确率仅为60%。与此同时,基于GPT-4的加强版ChatGPT完成这些题目的正确率为81%,且在高阶思维问题上的正确率为81%,远好于普通版,但它在低阶思维问题上的正确率仅为80%,答错了12道题,而普通版ChatGPT全部答对了这些题目,这引发了研究团队对加强版ChatGPT收集信息的可靠性的担忧。

这两项研究都表明,ChatGPT会有提供不正确答案的倾向,如果仅仅依靠它获取信息,那将非常危险,因为人们可能意识不到其给出的答案是不准确的,这是它目前面临的最大的问题。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-05-29 07:45:14

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

逢考必过?新版ChatGPT通过美放射学委员会考试
...和难度相当。对此,研究人员发现,基于GPT-3.5的ChatGPT的正确率为69%,接近70%的及格线。该模型在低阶思维问题上表现相对较好
2023-05-18 11:00:00
南京九中“动生课堂” 吸引全市专家教师观摩
...情况明显提升,三个年级每天离校前作业基本全部完成,正确率也显著提高;九中高考成绩不断突破,各项数据都达到历史新高,2024届高三在最近一次模考中,49位同学进入全市前1800
2024-04-10 00:57:00
经开区:课堂为本,打好“双减”落地“质量拳”
...学即时反馈。课堂教学中,运用手势反馈等形式灵活统计正确率,针对错误率大于40%的知识点即时调整教学,进行专项训练。作业诊断。作业批改时,先标记高频错题,再进行归因分析,查找学
2025-04-02 10:31:00
大模型权威报告:讯飞星火得分第一
...,其中Python主要以简答形式评估大模型的代码生成能力和正确率,其他则以客观题的形式考察。结果显示,讯飞星火80%的得分率明显高于71%的平均值,其他平台得分率基本相当。值
2023-08-18 09:35:00
DeepSeek/o3的弱点找到了!三心二意 明明对了又改错了
...种“无效努力”不仅浪费计算资源,还显著降低了答案的正确率。“三心二意”是罪魁祸首这一现象在解决数学竞赛题等更为复杂任务时尤为明显
2025-02-04 19:41:00
...对大约一半的答案,经过数百次试验,这组鸽子最终将其正确率提高到平均68%。该实验的目的在于发现简单的联想机制能在多大程度上解决一项可能给人造成困难的任务,因为人类严重依赖规则
2023-02-11 17:57:00
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...,当在 op≤21 的题目上进行训练时,模型不仅能达到 99% 正确率,还能在更高难度的题目(如 op=32)上保持 83% 的正确率(见图 3)
2024-08-06 09:27:00
研究显示chatgpt在会计考试中的表现远不及人类
...学运算能力。在问题类型上,ChatGPT比较擅长判断题(68.7%正确率)和选择题(59.5%正确率),但是在简答题上就很吃力(正确率在28
2023-04-25 19:40:00
科学家推出大模型数据集,涵盖奥赛数学题,有望让AI辅导数学课程
...随后,他们开始进行大量的测试。期间发现,如果只使用正确率作为最终的测试结果,并不能完全体现本次算法的优势。由于对大模型的请求是有成本的,所以当算法在使用大模型解决数学问题时,
2024-03-13 10:26:00
更多关于教育的资讯:
学霸扎堆!这场青春接力真“火”
鲁网2月12日讯(记者 罗燕)近日,山东省实验中学 “学长领航・梦想接力” 寒假校友返校宣讲活动举行。该校毕业学子重返母校,与学弟学妹面对面交流,传递成长经验,共话青春梦想。责任
2026-02-12 17:12:00
山海情深,再启新程——海德学院“小考拉·大梦想”支教调研团赴云南绿春开展调研帮扶活动
鲁网2月11日讯绿春县位于云南省南部边陲,山水秀美、民族风情浓郁。自2020年结对帮扶以来,中国海洋大学与绿春县建立了深厚的情谊
2026-02-11 17:14:00
耶鲁专升本:同心同行趁势而上,龙腾马跃共谱华章
大河网讯 砥砺奋进又一载,春华秋实满庭芳。2月7日,以“同心同行趁势而上 龙腾马跃共谱华章”为主题的耶鲁专升本2025年度总结表彰暨新春联欢会在郑州举行
2026-02-09 17:15:00
2025年河南民办教育蓝皮书发布暨2026年河南民办教育蓝皮书研创推进会在黄河科技学院举行
2月6日,由河南省民办教育协会、黄河科技学院与社会科学文献出版社共同主办的《河南民办教育蓝皮书:河南民办教育发展报告(2025)》发布暨2026河南民办教育蓝皮书研创推进会在黄河科技学院举行
2026-02-09 17:15:00
“学生不能等 工作不能误”—河南理工大学教师文广超用行动诠释师者担当
大河网讯 “没事儿,现在是期末,大家都比较忙。学生的考试卷能检验出一学期教和学的效果,我得亲自批改。”近日,河南理工大学资环学院地球信息科学与技术系主任文广超教授“央求”前来探望的同事们
2026-02-07 19:07:00
黄河科技学院附属医院召开ISO15189认可启动会
2026年2月5日下午,黄河科技学院附属医院医学检验科ISO15189认可启动会隆重举行。河南省社会办医协会会长李红星
2026-02-07 19:07:00
情系母校 西北农林科技大学学子回访郑州龙湖一中开展宣讲交流
大河网讯 2月5日下午,郑州龙湖一中迎来三位特殊的“返校生”——该校2024届及2025届毕业生、现就读于西北农林科技大学的优秀学子重返母校
2026-02-07 19:07:00
郑州轻工业大学召开2025年度科技人才奖励大会
大河网讯 近日,郑州轻工业大学召开2025年度科技人才奖励大会,全体校领导、中层干部及获奖代表参会,会议由党委副书记杨新宇主持
2026-02-07 19:07:00
聚焦实战 协同育人关保联盟网络安全人才培养系列成果正式发布
大河网讯 2月4日上午,由中关村华安关键信息基础设施安全保护联盟(以下简称 “关保联盟”)与电子工业出版社联合主办、北信源公司承办的“网络安全实战化人才培养系列教材
2026-02-07 19:08:00
参观数智展厅、探讨AI教学 这堂校企联合活动干货满满
荆楚网(湖北日报网)讯(记者林杉 通讯员周萍)2月4日上午,江夏区东湖路学校与武汉电信东湖高新分公司联合开展党建共建活动
2026-02-07 15:24:00
齐鲁医药学院获批3个淄博市科普教育基地
鲁网2月6日讯近日,从淄博市科学技术协会《关于命名2026-2028年度淄博市科普教育基地的通知》文件获悉,齐鲁医药学院组织申报的三个科普教育基地全部成功入选获批
2026-02-06 17:16:00
校地同心聚合力 “工”“农”互促绘新篇 江苏电子信息职业学院助力淮安淮阴区马头镇乡村振兴工作纪实
为深入贯彻落实省委省政府关于推进乡村全面振兴的决策部署,江苏电子信息职业学院充分发挥工信领域高校的智力、资源与组织优势
2026-02-06 17:36:00
以桥为媒!“小小桥梁工程师”点燃江城寒假爱心托管班
荆楚网(湖北日报网)讯(记者唐天琪 通讯员彭骥飞)近日,2026年武汉市青少年寒假“爱心托管班”在全市范围内温暖启航。湖北工业大学工程技术学院鹿鸣志愿服务队打造的《小小桥梁工程师——探索武汉的桥》项目成功入选市级重点项目
2026-02-06 14:57:00
谱写幼教新篇!这所幼儿园以榜样力量点燃青春理想
荆楚网(湖北日报网)讯(记者唐天琪 通讯员田甜)2月4日上午,硚口区安徽幼儿园汉正园区举行“共燃青春 赋能成长”暨冯梦琦青年示范岗成立誓师大会
2026-02-06 14:57:00
人形机器人教师“寒假练兵” 湖北建院教师下企业、取真经、练新功
荆楚网(湖北日报网)讯(记者齐一璇、何鹏、许文秀 通讯员邵卫、向婷)这个寒假,当很多人享受闲暇时,湖北城市建设职业技术学院人工智能学院的一群教师走进企业一线
2026-02-06 14:57:00