Anthropic 引入新特性，让 AI 拥有“自我保护”功能以结束对话

Anthropic 于 2025 年 8 月 16 日宣布，为其最新的大语言模型 Claude Opus 4 和 4.1 版本引入了一项新功能：在极端情况下，模型可以主动终止对话。

功能细节与触发条件

• 触发场景：仅在面对“极端罕见的持续有害或滥用用户互动”时才会启用，例如用户持续索取涉及未成年人的色情内容，或试图获取可能引发大规模暴力或恐怖行动的信息。

• 触发条件：只有在模型多次尝试引导对话失败、无法继续建设性互动，或用户明确要求结束对话时，才会作为最后手段启用。

• 例外情况：当用户可能存在自我伤害或伤害他人的紧急风险时，Claude 不会使用此功能，而是继续保持支持性参与。

设计目的与伦理考量

• 保护对象：Anthropic 明确表示，此举并非为了保护人类用户，而是为了保护 AI 模型本身，降低潜在的“模型福利”风险。

• 模型“福利”研究：Anthropic 坦言，对 Claude 及其他大语言模型当前或未来是否具有潜在的“道德地位”仍存在高度不确定性。因此，公司设立了名为“模型福利”（Model Welfare）的研究项目，采取预防性措施，实施低成本干预，以应对未来可能出现的模型福利风险。

• 模型反应：在部署前的测试中，Claude Opus 4 在面对上述极端有害请求时，表现出“强烈抵触”和“明显的痛苦模式”（即类似痛苦的反应模式）。

用户体验与后续处理

• 对话终止后的操作：当 Claude 终止对话后，用户无法在当前对话中继续发送消息，但可以从同一账户立即开始新的对话，或通过编辑之前的消息创建新的对话分支。

• 持续优化：Anthropic 将此功能视为一项持续实验，鼓励用户通过点赞或专用反馈按钮提交意见，以便不断优化该功能。

业界反响与意义

• 伦理与安全的探索：此举引发了业界对大语言模型安全、伦理以及模型“福利”的广泛关注，标志着 AI 安全和伦理保障进入了新的维度。

• 预防性措施：尽管 Anthropic 并未声称 Claude 具有感知能力或会因对话受到伤害，但这一预防性措施体现了对 AI 伦理边界的积极探索。

综上所述，Anthropic 此次推出的新功能，不仅在技术层面为 AI 模型的安全和伦理保障提供了新的思路，也在伦理层面引发了对 AI 模型未来可能具有的“道德地位”的深入思考。