DeepConf 技术由 Meta 发布，用于智能调整大型语言模型的推理费用与精确度
发布时间：2025-09-04 09:55:28 | 责任编辑：吴昊 | 浏览量：11 次
近日，Meta AI 联合加州大学圣地亚哥分校（UCSD）推出了一种名为 Deep Think with Confidence（DeepConf） 的新技术，旨在帮助企业在大语言模型（LLM）的复杂推理任务中，有效降低算力成本的同时保持高准确率 。
当前，提高 LLM 推理能力常依赖“自一致性 + 多次采样再表决”的策略（即 majority voting），但这种方法会导致计算资源迅速膨胀，耗时耗费，大量低质量推理路径反而可能造成错误答案胜出 。DeepConf 的创新之处在于，它不再对所有推理路径一视同仁，而是通过 模型内部的置信度信号，对推理路径进行筛选与权重调整 。
DeepConf 引入了多种精细的置信度指标，比如:
组置信度（Group Confidence）:计算推理过程中某一段 token 的平均置信度;
尾部置信度（Tail Confidence）:关注推理结尾部分的置信程度;
最低组置信度（Lowest Group Confidence）:找出推理路径中最“脆弱”的环节;
底部百分位置信度（Bottom-10% Confidence）:聚焦最不自信的那部分推理内容 ）。
DeepConf 支持两种执行方式:
离线模式（Offline Thinking）:先生成多个完整推理路径，再按置信度筛选较优路径参与表决或加权投票;
在线模式（Online Thinking）:在推理生成过程中实时评估，当当前路径置信度低于阈值时，立刻终止该路径以节省资源 。
在多个开放模型（如 DeepSeek-8B、Qwen3-32B、GPT-OSS-120B）以及复杂数学与 STEM 推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中，DeepConf 表现惊艳:
离线模式下，使用 GPT-OSS-120B 在 AIME2025的准确率高达 99.9%，同时生成的 token 数量比传统方法少 84.7% ;
在线模式下，在 AIME24中，DeepSeek-8B 的准确率提升了 5.8个百分点，却使用了 77.9% 更少 的 token 。
企业可根据使用场景风险偏好选择不同设定:
DeepConf-high（保守模式）:一般能减少约 50% 的生成成本，但准确性几乎不受影响，适用于金融、法律等高风险场景;
DeepConf-low（激进模式）:节省 70%–85% 的 token，适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景 。
使用 DeepConf 无需重新训练模型，只需增加少量推理时的逻辑处理。此外，它还具备良好兼容性，可与现有推理框架（如 vLLM、SGLang、TensorRT-LLM）无缝集成。正如研究者所言，这为现实企业部署 LLM 推理任务提供了一个“可插拔”的高效方案。
论文:https://arxiv.org/abs/2508.15260
划重点:
🧠 置信度导向选择:DeepConf 基于局部置信度（组、尾部、最低点等）筛选或权重排序推理路径，而非一刀切多数投票。
⏱ 显著提升效率:达到最高99.9% 的推理准确率，同时减少生成 token 多达84.7%。
️🎛 可调节策略模式:企业可按风险偏好选择「高安全性」或「高效率」模式，用最少资源获取最优结果。
Meta（联合加州大学圣地亚哥分校）最新推出的 DeepConf 技术，为大型语言模型（LLM）的推理任务带来了显著突破。它通过“基于置信度的动态推理路径筛选”机制，实现了高准确率与低计算成本的双重优化，具体亮点如下：
📌 核心创新：置信度驱动的推理优化
。
-
离线模式：先生成多条路径，再基于置信度加权投票。
-
在线模式：在生成过程中实时监控置信度，提前终止低置信路径，显著降低延迟和算力消耗
。
📊 性能表现：准确率近满分，成本骤降
-
准确率：在 AIME 2025 数学竞赛等高难度推理基准上，DeepConf 将 GPT-OSS-120B 的准确率推至 99.9%，远超传统方法
。
-
成本优化：在线模式下，token 消耗最高减少 84.7%，相当于节省 85% 左右的计算资源
。
-
普适性：在多个开源模型（如 DeepSeek-8B、Qwen3 系列）和不同数据集上均验证有效，平均提升准确率 10% 的同时节省 43%-85% 的 token
。
⚙️ 部署与使用：极简集成，即插即用
DeepConf 的设计极为轻量，仅需约 50 行代码即可集成到如 vLLM 等主流推理框架中。开发者只需：
-
修改 logprobs 处理器以跟踪置信度；
-
添加提前停止的检查机制；
-
开放 API 接口供用户自定义置信度阈值
。
🔮 未来方向
研究团队指出，DeepConf 的置信度机制未来可应用于：
-
强化学习训练：提升样本效率；
-
置信度校准：解决模型过度自信但错误的问题；
-
不确定性量化：进一步优化模型可靠性
。
。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
