北大研究团队首度全面审查大型语言模型的心理属性，引领AI评估领域新规范

北京大学宋国杰教授团队近期发布了一篇题为《大语言模型心理测量学：评估、验证与增强的系统综述》的论文，首次系统性地评估了大语言模型的心理特征，并推动了AI评估新标准的建立。

研究背景

大语言模型（LLM）在自然语言理解和生成方面表现出色，已广泛应用于多个领域。然而，传统评估方法难以满足其快速迭代的需求，尤其是在评估模型的“心智”特征（如性格、价值观、社交智能等）方面存在明显不足。为此，团队引入心理测量学的理论和方法，提出了“LLM心理测量学”这一交叉领域。

研究内容

1. 心理测量学与LLM基准的差异

   • 传统AI基准测试侧重于模型在具体任务上的表现，而心理测量学以“构念”为核心，追求对心理特质的深入理解。

   • 研究团队提出了“构念导向”的评估方法，深入挖掘影响模型表现的潜在变量。

2. 评估方法的革新

   • 引入心理测量学的严谨方法，提出证据中心基准设计等新范式，提升测试的科学性和可解释性。

   • 应用项目反应理论（IRT），动态校准测试项目难度，智能调整权重，使不同AI系统之间的比较更加科学和公平。

3. 测量构念的扩展

   • LLM展现出类人的心理构念，包括人格构念（性格、价值观、道德观等）和能力构念（启发式偏差、情绪智能、社交智能等）。研究系统梳理了针对这些心理构念的评估工作。

4. 测量方法的构建

   • 测试形式分为结构化（如选择题、量表评分）和非结构化（如开放对话、智能体模拟）。

   • 数据来源包括标准心理学量表、人工定制项目和AI生成的合成项目。

   • 提示策略涵盖角色扮演、性能增强和提示扰动等。

5. 测量验证

   • 强调理论基础、标准化和可重复性，建立严格的验证体系以确保测试的可靠性、效度和公平性。

研究意义

该研究推动了AI评估从“分数导向”向“科学解码”转变，为理解和提升大语言模型的“心智”能力提供了全新视角。通过心理测量学的方法，可以更全面、科学地认识和界定人工智能的能力边界，为AI的安全性、可靠性和人性化发展提供支撑。

未来展望

未来，心理测量学将在特质调控、安全对齐和认知增强等方面继续为LLM的发展提供支持，推动AI迈向更高水平的智能与社会价值。