Google DeepMind 发布 STATIC 框架,实现检索速度显著提升至948倍,解决LLM生成式检索挑战
发布时间:2026-03-02 09:14:19 | 责任编辑:张毅 | 浏览量:6 次
在现代工业推荐系统中,基于大语言模型(LLM)的“生成式检索(GR)”正逐渐取代传统的嵌入式搜索。然而,这种模式在实际应用中面临一个棘手问题:模型容易“胡言乱语”,生成不存在的商品 ID 或违反库存逻辑。
为了解决这一痛点,Google DeepMind 与 YouTube 的研究团队近日联合发布了名为 STATIC(用于约束解码的稀疏转移矩阵加速 Trie 索引)的全新框架。该技术通过创新的数学方法,将 LLM 的约束解码速度提升了惊人的 948倍。
核心技术突破:
变“树”为“阵”:传统的约束校验依赖前缀树(Trie),但在 GPU/TPU 等硬件上运行效率极低。STATIC 将复杂的树状结构扁平化为静态压缩稀疏行(CSR)矩阵,使校验过程转化为硬件极其擅长的向量化运算。
极致响应速度:在30亿参数模型的测试中,STATIC 的单步延迟仅为 0.033毫秒。相比传统的 CPU 检索方案,速度提升了近千倍;相比现有的硬件加速方案,也有超过40倍的领先。
YouTube 实测大捷:该技术已在 YouTube 视频推荐中上线,用于确保推荐内容符合“近7天新鲜度”等业务约束。实测显示,新鲜视频的播放量提升了 5.1%,点击率(CTR)也实现了显著增长。
此外,STATIC 还解决了生成式检索在“冷启动”阶段的短板。通过精准的解码约束,模型在推荐从未见过的全新商品时,准确率实现了零的突破。
这是一篇关于检索速度狂飙 948 倍!Google DeepMind 推出 STATIC 框架,攻克 LLM 生成式检索难题的文章,内容值得关注。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。
