谷歌 Gemini 嵌入模型在MTEB排行榜上超越OpenAI，占据榜首位置
发布时间：2025-07-15 09:35:42 | 责任编辑：张毅 | 浏览量：10 次
《谷歌 Gemini 嵌入模型在MTEB排行榜上超越OpenAI，占据榜首位置》相关软件官网
Gemini Ai2023年7月15日，谷歌在凌晨1点正式发布了首个 Gemini 嵌入模型，该模型在多文本嵌入基准测试平台（MTEB）上以68.37的高分名列第一，超越了 OpenAI 的58.93分。这一成绩不仅展示了谷歌在嵌入技术上的领先地位，也为独立创作者和自由职业者提供了更为经济的选择:Gemini 嵌入模型的使用成本仅为每100万 token0.15美元。
Gemini 嵌入模型的强大功能
根据测试结果，Gemini 嵌入模型在双语挖掘、分类、聚类、指令检索、多标签分类、配对分类、重排、检索和语义文本相似性等多项任务中表现出色，成为当前最强的嵌入模型。其多语言能力使其在全球范围内的应用更具潜力，特别是在大量非英语母语用户中。
模型架构与技术创新
Gemini 嵌入模型基于双向 Transformer 编码器架构设计，保留了 Gemini 模型的双向注意力机制，充分发挥了其预训练的语言理解能力。该模型在底层32层 Transformer 的基础上，添加了一个池化层，用于聚合输入序列的每个 token 嵌入，生成单一的嵌入向量。采用的均值池化策略简单有效，增强了模型的适应性。
训练方法与数据质量控制
在训练过程中，Gemini 嵌入模型采取了多阶段的训练策略，分为预微调和精调两个阶段。在预微调阶段，模型使用大规模 Web 语料库中的数据进行训练，主要目标是将参数从自回归生成任务适应到编码任务。精调阶段则针对特定任务的数据进行更精细的训练，确保模型在检索、分类、聚类等任务中的高效表现。
为提高数据质量，研究团队设计了合成数据生成策略，并利用 Gemini 对训练数据进行过滤，去除低质量样本，确保模型在训练中的有效性。
Gemini 嵌入模型的发布标志着谷歌在嵌入技术上的一次重要进步，增强了其在人工智能领域的竞争力。随着这一模型的推广，预计将推动搜索、个性化推荐等多种应用的发展。
体验地址:https://aistudio.google.com/prompts/new_chat
谷歌于 2025 年 3 月 7 日发布了其首个文本嵌入模型 Gemini Embedding（gemini-embedding-001），该模型在 Massive Text Embedding Benchmark（MTEB）中拔得头筹，平均任务得分达到 68.3 左右（具体为 68.32-68.37），显著超过了 OpenAI 的文本嵌入模型（如 text-embedding-ada-002 等），后者在多语言任务中的平均得分约为 51-58.93。Gemini Embedding 在双语挖掘、分类、聚类、检索、语义文本相似性等多个任务中表现优异，支持 100 多种语言，最大输入长度为 2048 tokens，并采用 Matryoshka Representation Learning（MRL）技术，可灵活调整输出维度（如 768、1536 或 3072 维）。
此外，Gemini Embedding 的定价极具竞争力，每 100 万 tokens 仅需 0.15 美元，现已通过 Gemini API 和 Vertex AI 向开发者开放。其出色表现巩固了谷歌在 AI 文本处理技术领域的领导地位，并为其在搜索引擎、推荐系统、文档检索等实际应用中的推广奠定了基础。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
