PNAS | 复旦大学团队揭示大语言模型中的“人类式概念表征”机制

发布者:张春艳发布时间:2025-11-05浏览次数:10

长期以来,概念被认为是人类认知的基石,它使人能够从复杂的感知经验中抽象出稳定的认知单元,从而理解、推理并适应环境。哲学、心理学、语言学和神经科学等领域均致力于揭示概念的本质与组织方式。人类通过感官体验与社会互动获得概念,而大型语言模型仅通过预测下一个词的方式学习语言,却在诸多任务中表现出接近人类的认知特征。这引发了一个关键问题:语言预测训练是否足以让模型形成“类人”的概念?

近日,复旦大学黄萱菁教授、张梦翰研究员团队联合国内外多学者在国际著名期刊Proceedings of the National Academy of Sciences (PNAS) 发表重要成果,题为《Revealing emergent human-like conceptual representations from language prediction》。该研究聚焦一个核心的科学问题:在仅依靠语言预测训练、未接触真实世界经验的条件下,大型语言模型(Large Language Models, LLMs)是否能够发展出类似人类的概念表征?这些表征是否具备与人类认知相似的结构与功能?



研究方法与核心发现

研究团队首先设计了一系列“概念推断”任务,引导模型从语言定义和上下文线索中抽取并组织概念。结果显示,模型能够灵活地从语言描述中形成稳定的概念表征,其内部结构在不同语境下呈现出一致性。这些表征不仅可预测模型在理解与推理任务中的表现,还能有效模拟人类的行为判断结果。进一步的神经影像学比较发现,这些模型生成的概念结构与人脑活动模式存在显著一致性,尤其在高级视觉皮层区域表现出高度对应。这一发现表明,语言预测本身即可诱发具有生物学可解释性的“概念组织”,揭示了人工系统中概念形成的潜在规律。


理论层面的突破

在理论层面,研究指出,大型语言模型的概念表征融合了符号主义与联结主义的核心思想。符号主义强调概念的定义性与结构性,有助于逻辑推理和符号组合;联结主义则强调概念在连续空间中的分布特征与渐变关系,擅长从经验中学习。复旦团队的研究发现,模型形成的概念表征兼具两者的优势,既能体现明确定义和关系结构,又能捕捉概念间的连续梯度变化。这种双重特性使模型能够更好地反映人类概念的相似性判断、类别区分以及层级结构,表现出超越传统词向量的认知一致性。


与人类行为数据的对比分析

在与人类行为数据的对比中,研究发现模型表征与人类在语义相似性和概念判断任务上的模式高度吻合。这表明模型并非仅依赖语言表面关联,而是通过捕捉概念间的关系网络来组织知识。研究进一步提出,语言本身可能是人类概念体系的重要支撑,而模型通过语言预测自发形成的概念结构,恰好为这一观点提供了新的计算证据。


模型的局限性与未来方向

尽管模型展现出惊人的类人特征,研究也揭示了其与人类认知的差异。模型在视觉属性(如颜色、纹理、形状)维度上表现出明显不足,说明单纯依靠语言输入仍难以全面建构具象化知识。这一缺陷与先天失明人群在色彩概念认知上的差异高度相似,提示视觉经验在丰富概念体系中的重要作用。

综合来看,该研究首次系统揭示了语言预测机制如何自发催生人类式概念结构,说明语言模型在缺乏感官经验的情况下仍能形成具有抽象性、可泛化性和生物学可解释性的概念表征。这不仅为认知科学提供了新的研究范式,也为人工智能系统的“人机对齐”提供了理论依据。研究团队指出,未来可进一步融合视觉、听觉等多模态信息,探索更符合人类认知规律的概念形成模型,从而加深对智能本质的理解。


图1. LLaMA3-70B模型的概念表征更接近人类相似性判断,与心理分类结构高度一致,优于传统词向量与语义向量。


原文链接:https://www.pnas.org/doi/10.1073/pnas.2512514122#sec-2