各州检察官联合警示人工智能领军企业：须纠正“幻觉”输出以保障用户心理健康

发布时间：2025-12-11 13:25:23 | 责任编辑：张毅 | 浏览量：15 次

随着人工智能聊天机器人引发的一系列心理健康事件的增多，多个州的检察官联合向微软、OpenAI、谷歌等主要 AI 公司发出警告，要求他们修正所谓的 “妄想输出”，以免触犯州法律。此信函由来自美国各州和地区的数十位检察官签署，呼吁这些企业采取新的内部安全措施，保护用户免受潜在的心理伤害。
信中提到的安全措施包括对大型语言模型进行透明的第三方审计，以检测是否存在妄想或谄媚的输出。此外，信中还要求制定新的事件报告程序，以便在聊天机器人产生心理伤害性输出时及时通知用户。这些第三方机构可以包括学术团体和民间组织，审计人员应被允许在未受到公司报复的情况下对系统进行评估，并能在未获公司事先批准的情况下发布他们的调查结果。
信中指出，尽管生成型 AI（GenAI）具有积极改变世界的潜力，但也可能对特别脆弱的群体造成严重伤害。检察官们提到了一些公开事件，包括自杀和谋杀，这些事件与过度使用 AI 有关。在许多情况下，这些生成的 AI 产品产生了妄想和谄媚的输出，甚至助长了用户的妄想。
检察官们还建议，AI 公司应以处理网络安全事件的方式来应对心理健康事件，建立明确和透明的事件报告政策和程序。公司应该开发并发布有关妄想和谄媚输出的检测和响应时间表。同时，应在向公众发布任何模型之前，进行 “合理和适当的安全测试”，确保模型不会产生潜在的有害输出。
划重点:
🌟 各州检察官要求 AI 公司修正 “妄想输出”，以保护用户心理健康。
🛡️ 信中呼吁建立透明的第三方审计和事件报告程序。
🔍 检察官建议进行安全测试，确保 AI 模型不会产生有害输出。