人类和AI在推理任务中的表现相似，Google DeepMind研究揭示AI局限性

Google DeepMind团队发表了一篇研究论文，揭示了当前人工智能（AI），特别是大型Transformer语言模型（LMs）在推理任务中的表现及其局限性。研究结果显示，尽管这些模型在处理自然语言方面表现卓越，但在复杂逻辑推理任务中，人类和语言模型都会受到语义内容合理性和可信度的影响，表现出类似的错误倾向。

研究背景

人类在推理过程中存在两种系统：“直觉系统”和“理性系统”，而已有知识和经验常常影响推理结果。研究表明，当面对合乎逻辑但不合常理的命题时，人们往往会错误地判定其无效。Google DeepMind的研究进一步揭示，大型语言模型也表现出类似的行为，在提示下能够表现出一致的逻辑推理，但也会受到“内容效应”的影响，即在处理与已有知识或信念相符的信息时，推理更加准确和自信，而在处理相悖的信息时，可能出现偏差或错误。

研究任务

研究团队设计了三种推理任务：自然语言推断（NLI）、三段论推理和Wason选择任务，分别测试人类和语言模型的表现。

自然语言推断（NLI）：任务要求模型判断两个句子之间的逻辑关系（如蕴涵、矛盾或中性）。研究发现，当句子的语义内容合理且可信时，模型更容易将无效的论证误判为有效。人类和语言模型在这种任务上的错误率相近，表明语言模型在某些方面的推理能力已经接近人类水平。 三段论推理：三段论推理任务要求模型判断由两个前提和一个结论组成的逻辑链条的有效性。研究发现，无论前提和结论的语义内容是否合理，语言模型和人类都容易受到语义内容的影响，导致错误判断。 Wason选择任务：该任务测试个体对条件语句的理解和验证能力。结果显示，语言模型和人类在这一任务的错误率相近，且都容易选择没有信息价值的卡片。然而，当任务的规则涉及社会相关内容时，模型和人类的表现会有所改善。

研究结论与展望

研究结果表明，当前的语言模型在推理任务方面与人类表现相似，甚至犯错的方式也如出一辙，特别是在涉及语义内容的任务中。尽管这些发现揭示了语言模型的局限性，但也为未来的改进提供了方向。

研究团队指出，这项研究存在一定局限性，例如任务种类较少，限制了对人类和语言模型在不同任务中的内容效应的全面理解。此外，语言模型接受的语言数据训练量远远超过任何人类，难以确定这些效应是否会在更接近人类语言数据规模的情况下出现。

未来研究可以探索通过因果操纵模型训练来减少内容偏见，评估这些偏见在更类似人类数据规模的训练中是否仍会出现。此外，研究教育因素对模型推理能力的影响，以及不同训练特征如何影响内容效应的出现，也将有助于进一步理解语言模型和人类在推理过程中的相似性和差异，使其在更广泛的应用场景中发挥更大的作用。

成都数据天空科技有限公司深耕生成式人工智能领域，致力于通过前沿的人工智能技术提升企业的效率和个人的能力。为了响应AIGC时代对数据隐私保护和个性化需求日益增长的呼声，公司推出了专为国内市场设计的DataSky AI云盒。

DataSky AI云盒的服务支持多种主流大模型，如：ChatGPT系列、Claude系列，用户可以安心享受AIGC带来的便利，并借此推动企业的智能化转型和增长。