Anthropic发现：使用250个中毒文档就能轻松突破大型AI系统防护

发布时间：2025-10-11 13:47:46 | 责任编辑：张毅 | 浏览量：7 次

近日，人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究，揭示了大型语言模型（LLM）在数据中毒攻击下的脆弱性。研究表明，只需250份被 “投毒” 的文件，便能够在多种规模的 AI 模型中植入后门，而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中，科研团队对参数量从6亿到130亿的多种模型进行了测试。研究发现，即使是在使用更为干净数据进行训练的更大模型中，所需的中毒文件数量也保持在250份不变。这一结果挑战了以往的认知，即攻击者需要控制训练数据的特定比例才能对模型造成严重影响。实验显示，仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的触发进行了测试，设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时，会输出一串随机的无意义乱码。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码的低风险漏洞，但研究者也指出，尚不清楚类似的攻击方法是否会导致更严重的后果，比如生成不安全代码或绕过安全机制。
尽管公布这些结果可能会激发攻击者的兴趣，Anthropic 认为，分享这一发现对整个 AI 社区是有益的。数据中毒攻击是一种防御者能够反击的手段，因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了防御者应保持警惕，确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
🔍 仅需250份中毒文件，便可在大型 AI 模型中植入后门，攻击效果不受模型大小影响。
⚠️ 测试中的后门设计为 “拒绝服务” 机制，模型在特定触发词下输出乱码，属于低风险漏洞。
🛡️ 研究结果揭示数据中毒的潜在威胁，呼吁 AI 社区重视数据安全和防御措施。