北大与通义实验室推出ZeroSearch新技术，大幅度提升LLM检索功能，成本削减超过88%
发布时间：2025-05-29 13:57:19 | 责任编辑：张毅 | 浏览量：13 次
最近，通义实验室和北京大学的研究团队推出了一项名为 ZeroSearch 的创新框架，这一新技术可以在不需要真实搜索的情况下，激活大语言模型的检索能力，并且训练成本降低了惊人的88%。这一突破为大语言模型的训练和应用提供了全新的思路。
传统的训练方法通常依赖于真实的搜索引擎来获取信息，这不仅造成了高昂的 API 调用成本，还可能因搜索结果的质量不稳定而影响模型的表现。ZeroSearch 巧妙地通过引入大语言模型作为 “模拟搜索引擎”，利用其在预训练过程中积累的丰富知识来生成检索文档，从而避免了真实搜索带来的成本和噪声干扰。
论文地址:https://arxiv.org/pdf/2505.04588
代码地址:https://github.com/Alibaba-NLP/ZeroSearch
项目主页:https://alibaba-nlp.github.io/ZeroSearch
Huggingface 主页:https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e
该框架采用了一种结构化的训练模板，使得模型在每次交互中都能有条理地思考并进行操作。这种方法不仅提升了模型的推理路径清晰度，还使得最终答案的提取变得更加简便。此外，ZeroSearch 还通过一种名为 “模拟微调” 的策略来提升生成文档的质量，确保输出内容的实用性和可靠性。
在实验中，ZeroSearch 的表现显著优于依赖真实搜索引擎的传统方法，展现出强大的泛化能力和稳定性。随着模型参数量的增加，其性能还在不断提升。这一研究不仅推动了大语言模型的技术进步，也为未来的智能搜索和信息检索应用打开了新的可能性。
综上所述，ZeroSearch 为大语言模型的训练带来了革命性的变化，凭借其低成本和高效能，预示着智能信息检索的未来。
通义实验室和北京大学联合发布了新技术ZeroSearch，该技术通过创新的强化学习框架，无需与真实搜索引擎交互，即可激活大语言模型（LLM）的检索能力，同时将训练成本降低了88%。
核心技术原理
-
模拟搜索引擎：ZeroSearch利用大语言模型自身的预训练知识，将其转变为一个检索模块，能够根据查询生成相关或噪声文档，从而模拟搜索引擎的功能。
-
课程学习策略：在强化学习训练过程中，ZeroSearch采用课程学习机制，逐步降低生成文档的质量，使模型从简单任务逐步过渡到复杂任务，最终能够在高质量和低质量文档中找到平衡。
-
结构化训练模板：通过采用结构化的训练模板，引导模型在每一轮交互中划分思维步骤，包括分析已有信息、提炼搜索query、总结推理过程等，提升了模型推理路径的清晰度和可解释性。
实验结果
-
性能提升：实验表明，使用3B参数规模的模型作为检索模块即可激发语言模型检索能力，7B模型的检索性能已接近真实搜索引擎，而14B模型甚至实现了超越。
-
成本降低：与使用真实搜索引擎进行强化学习训练相比，ZeroSearch的训练成本大幅降低。例如，使用SerpAPI通过Google搜索进行大约64,000次搜索查询的训练费用约为586.70美元，而使用ZeroSearch在四块A100 GPU上训练只需要70.80美元。
优势与特点
-
无需API交互：避免了与真实搜索引擎的交互，从而大幅降低了训练成本。
-
动态控制文档质量：能够根据提示词生成相关或噪声文档，为训练提供了多样化的检索场景。
-
兼容性强：支持不同参数规模的大模型，并兼容多种强化学习算法，如PPO、GRPO等。
意义与影响
ZeroSearch的出现，不仅解决了传统方法中搜索引擎返回文档质量不可控和API成本高昂的问题，还为AI开发提供了一种更经济、更可控的训练方式。这一技术的推广，有望使先进的AI训练更加普及，特别是对于预算有限的小型AI公司和初创企业。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
上一篇： 《图神经网络：基础、前沿与应用》
下一篇： aigc应用工程师讲师
