OpenAI推出新机制屏蔽生化威胁内容，强化AI安全防护
发布时间：2025-04-17 12:53:54 | 责任编辑：字母汇 | 浏览量：42 次
《OpenAI推出新机制屏蔽生化威胁内容，强化AI安全防护》相关软件官网
OpenAIOpenAI 近期推出了一项新系统，旨在监控其最新的 AI 推理模型 o3和 o4-mini，以阻止与生物和化学威胁相关的提示。该系统的目标是防止模型提供可能教唆他人实施有害攻击的建议，确保 AI 的安全性。
OpenAI 表示，o3和 o4-mini 在能力上较之前的模型有显著提升，因此在恶意用户手中可能带来新的风险。根据 OpenAI 的内部基准测试，o3在回答关于某些生物威胁的相关问题时，表现得尤为出色。为了应对这些风险，OpenAI 开发了这个新的监控系统，称之为 “以安全为中心的推理监测器”。
这个监测器经过定制训练，能够识别与生物和化学风险相关的提示，并指示模型拒绝提供这些主题的建议。为了建立基线，OpenAI 的 “红队” 成员花费了约1000小时，标记 o3和 o4-mini 中 “危险” 的生物风险相关对话。在一次模拟测试中，OpenAI 的安全监测器成功阻止了98.7% 的危险提示的响应。
尽管如此，OpenAI 承认其测试并未考虑那些在被监测器阻止后可能尝试新提示的用户，因此公司表示将继续依赖部分人工监控。根据 OpenAI 的说法，o3和 o4-mini 并未超过其 “高风险” 生物风险的阈值，但与 o1和 GPT-4相比，o3和 o4-mini 在回答关于生物武器开发问题时表现得更为出色。
OpenAI 还在积极跟踪其模型如何可能被恶意用户用来开发化学和生物威胁，并更新了其 “准备框架”。公司越来越依赖自动化系统来减轻其模型带来的风险。例如，为了防止 GPT-4o 的原生图像生成器创建儿童色情内容，OpenAI 表示使用了一种与 o3和 o4-mini 相似的推理监测器。
然而，一些研究人员对 OpenAI 是否足够重视安全性表示担忧。一家名为 Metr 的红队合作伙伴指出，他们在评估 o3的欺骗行为基准测试时时间相对有限。同时，OpenAI 选择不为其最新推出的 GPT-4.1模型发布安全报告。
划重点:
🌐 OpenAI 推出新系统，监控其 AI 模型以阻止生物和化学风险信息。
🛡️ 新的 “安全推理监测器” 能有效拒绝98.7% 的危险提示响应。
🔍 研究人员对 OpenAI 的安全重视程度表示担忧，呼吁更多透明度。
OpenAI 最近部署了一套名为“安全导向推理监控器”的新系统，专门用于监控其最新的人工智能推理模型 o3 和 o4-mini，以防止这些模型提供可能引发生物和化学威胁的有害建议。
系统的工作原理
该监控器经过专门训练，能够理解 OpenAI 的内容政策，并实时运行在 o3 和 o4-mini 之上。它的核心功能是识别与生物和化学风险相关的提示词，一旦检测到这些关键词，就会指示模型拒绝提供相关建议。
测试结果
为了验证监控器的有效性，OpenAI 的红队成员投入了约 1000 小时，标记了 o3 和 o4-mini 中与生物风险相关的“不安全”对话。在模拟测试中，监控器成功阻止了 98.7% 的危险提示的响应。
人工监控的补充
尽管测试结果令人鼓舞，但 OpenAI 承认，测试并未涵盖用户在被监控器阻断后可能尝试的新提示词。因此，公司将继续依赖部分人工监控来弥补这一潜在漏洞。
模型的风险评估
尽管 o3 和 o4-mini 并未达到 OpenAI 设定的生物风险“高风险”阈值，但与早期的 o1 和 GPT-4 相比，它们在回答有关开发生物武器的问题上表现出了更高的帮助性。这表明这些模型在能力提升的同时，也带来了新的安全挑战。
研究人员的质疑
一些研究人员对 OpenAI 的安全措施提出了质疑。例如，OpenAI 的红队合作伙伴 Metr 表示，他们在测试 o3 的欺骗性行为基准时时间相对有限，这可能影响了测试的充分性。此外，OpenAI 决定不为其最新发布的 GPT-4.1 模型发布安全报告，这一决定也引发了一些争议。
总体来看，OpenAI 的新监控系统在技术上取得了显著进展，但仍需不断完善和优化，以确保 AI 技术的安全应用。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
