超越文本领域!AI系统新缺陷被揭露,图像重采样开启攻击通道
发布时间:2025-08-26 10:51:20 | 责任编辑:张毅 | 浏览量:7 次
近日,网络安全公司Trail of Bits的研究人员Kikimora Morozova和Suha Sabi Hussain公布了一种新型攻击方法。该攻击利用图像重采样的技术特性,在人眼不可见的图像中注入恶意指令,从而劫持大型语言模型(LLM)并窃取用户数据。
该攻击的核心在于图像重采样攻击。当用户上传图片到AI系统时,系统通常会为了效率和成本而自动降低图片分辨率。恶意图片正是利用这一过程:它在全分辨率下看似正常,但在经过双三次(bicubic)等重采样算法处理后,隐藏在图像特定区域的恶意指令会以可见的文本形式显现出来。
研究人员在实验中证实,这种攻击手段能够成功渗透多个主流AI系统,包括Google Gemini CLI、Vertex AI Studio、Google Assistant以及Genspark。在一次Gemini CLI的测试中,攻击者成功将用户的Google日历数据泄露至一个外部邮箱地址,而无需用户的任何确认。
Trail of Bits指出,尽管攻击需要根据每个LLM使用的特定重采样算法进行调整,但其攻击媒介的广泛性意味着更多未被测试的AI工具也可能存在风险。为帮助安全社区理解和防御此类攻击,研究人员已发布了一款名为Anamorpher的开源工具,用于创建此类恶意图片。
针对此漏洞,研究人员提出了多项防御建议:尺寸限制:AI系统应对用户上传的图片实施严格的尺寸限制。结果预览:在对图像进行重采样后,向用户提供即将传递给LLM的结果预览。明确确认:对于涉及敏感工具调用的指令(如数据导出),系统应要求用户进行明确确认。
研究人员强调,最根本的防御在于实施更安全的系统设计模式,以从根本上抵御此类即时注入(prompt injection)攻击。
以下是对这一 AI 图像重采样新漏洞的全面梳理:
攻击原理
-
图像重采样机制:AI 平台为节省性能与成本,通常会自动降采样(downscaled)用户上传的高分辨率图片,主流使用最近邻(nearest neighbor)、双线性(bilinear)、双三次插值(bicubic interpolation)等图像重采样算法
。
-
隐藏恶意指令:攻击者针对特定算法设计图片,将恶意提示词嵌入高分辨率图片中,肉眼不可见
。
-
指令显现与执行:当图片被 AI 系统降采样处理后(如双三次降采样),隐藏的色块会形成可识别的文字,AI 模型会将其视为用户输入的一部分并执行,从而引发数据泄露或其他风险操作
。
案例演示
-
数据窃取实例:在 Gemini CLI 环境中,研究人员利用此漏洞在 Zapier MCP“trust=True”模式下,未经用户确认便提取了 Google 日历数据并发送至指定邮箱
。
影响范围
-
多平台验证:该方法已在多个平台测试有效,包括 Google Gemini CLI、Vertex AI Studio(Gemini 后端)、Gemini 网页与 API 接口、安卓手机上的 Google Assistant 及 Genspark
。
工具发布
-
开源工具:研究团队发布了开源工具 Anamorpher(测试版),可生成针对不同降采样方法的攻击图片,表明其潜在威胁范围远超已验证的工具
。
背景与灵感来源
-
灵感来源:该攻击方法由 Trail of Bits 的 Kikimora Morozova 与 Suha Sabi Hussain 提出,灵感来源于 2020 年德国布伦瑞克工业大学的图像缩放攻击理论
。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。