Gemini API新增智能缓存机制，开发者费用节省3/4
发布时间：2025-05-09 16:07:44 | 责任编辑：吴昊 | 浏览量：19 次
Gemini API推出隐式缓存（Implicit Caching）功能，为开发者带来显著的成本优化体验。新功能无需开发者手动创建缓存，当请求与先前请求共享共同前缀时，系统将自动触发缓存命中，提供高达75%的Token折扣。此更新已覆盖Gemini2.5Pro和2.5Flash模型，进一步提升了AI开发的成本效益。官方详情可参考:https://developers.googleblog.com
核心机制:自动缓存与动态折扣
隐式缓存功能通过识别请求中的共同前缀，自动复用先前处理过的上下文数据，减少重复计算的Token消耗。例如，开发者在构建聊天机器人或代码分析工具时，常需重复发送相同的系统指令或大型数据集，隐式缓存可将这些内容自动存储并以更低的成本调用。小编了解到，为增加缓存命中率，Google建议开发者将固定内容置于请求开头，动态内容（如用户问题）置于末尾。社交媒体反馈显示，开发者对这一功能的自动化设计和成本节约效果表示高度认可。
技术细节与开发者福利
根据官方数据，隐式缓存的最小请求Token要求已大幅降低，Gemini2.5Flash为1024Token，2.5Pro为2048Token，约相当于750至1500字的文本，显著提高了缓存触发的可能性。开发者无需额外配置即可享受折扣，API返回的usage_metadata中会明确显示缓存Token数量（cached_content_token_count），确保计费透明。此外，Google保留了显式缓存API，供需要保证成本节约的场景使用。小编编辑团队认为，隐式缓存的推出为中小型开发团队提供了更低门槛的AI开发机会。
应用场景与行业影响
隐式缓存功能特别适用于高频重复上下文的场景，例如:
自定义聊天机器人:无需重复发送长提示，降低运营成本;
代码库分析:高效处理大型代码库的重复请求;
文档处理:加速对长篇文档的问答或总结任务。
小编观察到，Gemini API的此次更新正值AI开发成本竞争加剧的背景，OpenAI和Anthropic等竞品也在优化其API定价。Google通过隐式缓存进一步巩固了Gemini在成本效率和开发友好性上的优势。社交媒体讨论指出，该功能可能推动更多开发者将Gemini集成到生产环境中，尤其是在预算敏感的项目中。
AI开发的成本革命
Gemini隐式缓存功能的发布标志着AI开发向更高效、更经济的方向迈进。小编编辑团队预计，随着Google持续优化缓存机制（如降低延迟或扩展缓存场景），Gemini API将在聊天机器人、RAG系统和多模态应用中获得更广泛采用。未来，隐式缓存可能与其他功能(如代码执行或多模态处理)结合，进一步提升开发者的生产力。
Google近期在其Gemini API中推出了隐式缓存功能，该功能可帮助开发者在使用最新AI模型时节省成本，最高可达75%。以下是相关介绍：
工作原理
隐式缓存能够自动识别并重用之前请求中相似的内容。当开发者向Gemini 2.5模型发送请求时，如果该请求与之前的某个请求存在相同的前缀，就有可能命中缓存，从而实现成本节约。与显式缓存不同，开发者无需手动定义高频请求，系统会自动处理。
适用模型
隐式缓存功能已默认开启，适用于Gemini 2.5 Pro和2.5 Flash模型。
优势
-
自动化程度高：开发者无需手动配置，系统自动识别并应用节省。
-
触发门槛低：2.5 Flash模型的最小提示令牌数为1024，2.5 Pro模型为2048，约相当于750至1500字的文本。
-
计费透明：API返回的usage_metadata中会明确显示缓存Token数量（cached_content_token_count），确保计费透明。
使用建议
-
将重复的上下文内容放在请求的开头，以增加命中缓存的几率。
-
可能会在请求间变化的上下文信息，则建议放在请求的末尾。
适用场景
-
自定义聊天机器人：无需重复发送长提示，降低运营成本。
-
代码库分析：高效处理大型代码库的重复请求。
-
文档处理：加速对长篇文档的问答或总结任务。
注意事项
-
Google尚未提供第三方验证来证明隐式缓存能如承诺般实现自动成本节省，开发者在使用过程中需保持谨慎。
-
隐式缓存的效果高度依赖于请求的结构设计，若开发者未能合理组织请求内容，可能会导致缓存命中率较低。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
下一篇： AIGC如何在广告创意中提升参与度？
