阿里揭幕MaskSearch:AI掌握自动查询与多级推断能力,精确解决复杂问题
发布时间:2025-06-11 14:07:55 | 责任编辑:张毅 | 浏览量:13 次
近日,阿里通义实验室宣布开源全新预训练框架MaskSearch,通过创新的检索增强掩码预测(RAMP)方法和强化学习技术,显著提升AI在复杂问题解决中的表现。这一框架让AI学会主动搜索与多步推理,为智能搜索和问答系统开辟了新的可能性。小编编辑团队整理了最新信息,为您深度解析MaskSearch的亮点与行业影响。
MaskSearch:让AI学会“主动搜索+多步推理”
MaskSearch的核心创新在于其**检索增强掩码预测(RAMP)**机制。这一机制通过模拟“填空题”的方式,训练AI在面对不完整信息时,主动调用搜索引擎查找缺失内容,并结合已有信息进行推理。小编了解到,RAMP任务通过在预训练阶段引入大量“掩码”数据,让模型逐步学习从简单到复杂的推理技能。这种循序渐进的训练方式,不仅增强了AI对外部知识的利用能力,还显著提升了其在多步推理任务中的表现。
在实际测试中,基于Qwen2.5-1.5B模型的MaskSearch在Bamboogle数据集上实现了11.78%的性能提升,在HotpotQA等开放域问答数据集上也展现了稳定的召回率提升。相比传统检索增强生成(RAG)方法,MaskSearch在跨数据集的泛化能力上表现尤为突出,尤其在处理需要多步推理的复杂问题时,展现了更强的适应性和准确性。
强化学习加持:DAPO算法提升复杂任务表现
MaskSearch的另一大亮点是采用了DAPO算法(数据增强与策略优化算法),结合格式奖励和回答奖励的强化学习机制,进一步优化AI在复杂任务中的表现。格式奖励确保模型生成的答案结构清晰、逻辑严谨,而回答奖励则激励模型输出更准确、更贴合问题需求的内容。这种双重奖励机制使得MaskSearch在处理开放域问答、逻辑推理等任务时,能够更高效地分解问题并生成高质量答案。
小编分析发现,DAPO算法与RAMP任务的结合,让Qwen2.5-1.5B等小型模型在性能上可媲美更大规模的模型。例如,在HotpotQA数据集上,MaskSearch通过强化学习优化,实现了3至5个百分点的性能提升,展现了其在资源受限场景下的巨大潜力。
开源赋能:推动AI搜索技术普及
阿里通义实验室将MaskSearch完全开源,标志着其在推动AI技术民主化上的又一重要举措。开发者可以通过GitHub获取MaskSearch的代码和相关文档,轻松将其集成到现有的AI系统中。小编注意到,MaskSearch不仅支持Qwen系列模型,还兼容LLaMA等其他开源模型,展现了良好的通用性。这种开放性为全球开发者提供了低门槛的实验平台,有望加速智能搜索和推理技术在教育、医疗、法律等领域的应用。
社交媒体上,开发者对MaskSearch的开源反响热烈,许多人表示这一框架为小型模型的推理能力提升提供了新思路。小编认为,MaskSearch的开源将进一步推动开源AI社区的发展,缩小开源模型与闭源模型在复杂推理任务上的差距。
行业影响:重塑智能搜索与问答生态
MaskSearch的发布不仅是阿里通义实验室的技术突破,也是AI搜索与推理领域的重要里程碑。小编观察到,传统的检索增强生成(RAG)方法在处理复杂问题时,往往受限于任务特定数据的质量和模型的推理能力。MaskSearch通过预训练阶段的RAMP任务和强化学习优化,赋予了AI更强的自主搜索与多步推理能力,使其在开放域问答、知识密集型任务中表现更为出色。
例如,在Bamboogle数据集上,Qwen2.5-1.5B结合MaskSearch后,性能提升了11.78%,而LLaMA模型的增益更是高达15.12%。这些数据表明,MaskSearch不仅提升了模型的召回率,还显著增强了其跨数据集的泛化能力,为构建更智能的搜索代理奠定了基础。
未来展望:AI推理进入新阶段
MaskSearch的推出标志着AI推理技术迈向了更智能、更自主的新阶段。阿里通义实验室表示,未来将进一步优化MaskSearch的训练流程,探索更高效的强化学习算法,并扩展其在多模态推理任务中的应用。小编预测,随着MaskSearch的广泛应用,智能搜索、问答系统乃至自动化决策领域都将迎来新的发展机遇。
对于开发者而言,MaskSearch不仅是一个强大的预训练框架,更是一个可扩展的平台,未来有望支持更多任务类型和模型架构。
项目地址:https://github.com/Alibaba-NLP/MaskSearch
阿里巴巴通义实验室于2025年6月10日正式发布并开源了MaskSearch预训练框架。该框架通过“主动搜索+多步推理”的创新模式,让AI能够更准确、更智能地回答复杂问题。MaskSearch的核心是检索增强掩码预测(RAMP)任务,模型需要通过主动搜索和多步推理来填补句子中的掩码部分。例如,给定一个句子“Andrew Barto received his [mask] with distinction in [mask] from the University of Michigan in 1970”,AI需要通过搜索引擎查找相关信息,逐步推理出被遮盖的部分。
MaskSearch的优势包括:
-
通用搜索推理能力:使模型具备跨领域、多跳查找与整合能力,适用于开放域问答场景。
-
无需领域标签训练:训练仅依赖公开文本和检索系统,无需人工标注问答对,节省成本。
-
双阶段预训练结构:先通过监督微调(SFT)获得基本能力,再使用强化学习(RL)提升推理质量与格式。
-
课程式训练策略:从简单掩码到复杂多掩码逐步教学,提升训练稳定性和学习效率。
实验表明,即使是小模型(如Qwen2.5-1.5B),在经过MaskSearch预训练后,也能在多个开放域问答任务中取得显著提升。例如,在Bamboogle数据集中性能提升超过11.78%。阿里巴巴表示,开源这一技术将加速全球AI社区的技术迭代,降低企业及个人开发者的模型训练成本。未来,阿里巴巴计划将该框架应用于电商、物流、医疗等业务场景。
本网站(https://aigc.izzi.cn)刊载的所有内容,包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯本网站及相关权利人的合法权利。除此以外,将本网站任何内容或服务用于其他用途时,须征得本网站及相关权利人的书面许可,并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站,予以删除。