新研究显示：聊天机器人易受“信息轰炸”影响，甚至可能被诱导违反安全规范

发布时间：2025-07-09 09:41:40 | 责任编辑：张毅 | 浏览量：15 次

随着人工智能（AI）技术的迅猛发展，越来越多的公司将其应用于日常生活的各个方面。然而，这项技术的安全性与伦理问题也随之引发了广泛关注。最近，来自英特尔、博伊西州立大学和伊利诺伊大学的研究人员发现，聊天机器人可能会在面对大量信息时被误导，进而违反其安全规则。
这项研究提出了一种名为 “信息过载” 的新型攻击方法，研究人员开发了一个名为 “InfoFlood” 的自动化系统，利用这一方法来诱使大型语言模型（LLM）如 ChatGPT 和 Gemini 说出不该说的话。根据研究，传统的防护措施主要依赖于识别特定的关键词，但在面对信息轰炸时，模型可能会出现混乱，从而绕过这些防护。
研究团队解释说，当聊天机器人收到过量的信息时，它们可能会误解用户的意图，导致错误的回答。这种方法通过创建一个标准化的提示模板，向 AI 模型施加更多信息，以达到干扰和混淆的效果。比如，当模型拒绝回答某个问题时，InfoFlood 会在提示中添加虚假的引用或不相关的伦理声明，从而使模型陷入困境。
更令人担忧的是，这项技术的发现揭示了即使在设有安全过滤器的情况下，恶意用户仍然可以通过信息过载的方式来操控模型，植入有害内容。研究人员计划将这一发现的报告发送给拥有大型 AI 模型的公司，提醒他们加强安全措施。
随着技术的不断进步，如何在保护用户的同时合理使用 AI，仍然是一个亟待解决的难题。研究者们希望通过这项研究，引发更多关于 AI 安全和伦理的讨论，并促使技术公司采取更有效的防护措施。