Vectara推出“纠错”守护代理，宣称可消除AI“幻觉”
发布时间：2025-05-14 10:01:45 | 责任编辑：吴昊 | 浏览量：5 次
人工智能（AI）在企业中的应用日益广泛，但其固有的“幻觉”风险——即生成不真实或无根据的信息——一直是阻碍大规模部署的关键挑战。尽管行业内涌现了众多旨在减少幻觉的技术和方法，如检索增强生成(RAG)、数据质量提升、护栏机制以及推理验证等，但效果往往有限。近日，一家名为Vectara的公司推出了一种全新的解决方案:“Vectara 幻觉矫正器”，旨在通过监护代理自动识别、解释和纠正AI产生的幻觉，为企业级AI应用带来新的希望。
Vectara 最初是 RAG 技术的早期倡导者。RAG 通过从提供的内容中提取信息来减少幻觉，但并非万无一失。与现有方案侧重于检测或预防不同，Vectara 的监护代理采取了主动纠正的策略。这种守护代理本质上是监控 AI 工作流程并实施保护措施的软件组件，它以代理式 AI 的方式应用纠正，在保留整体内容的同时进行精准修改，并提供详细的修改原因解释。Vectara 声称，该系统已成功将小型语言模型（参数小于70亿）的幻觉率降低到1% 以下。
Vectara 首席产品官 Eva Nahari 强调，随着企业更多地采用代理式工作流程，幻觉带来的负面影响将成倍放大，这正是他们推出守护代理的原因，旨在构建更值得信赖的企业级 AI。
为了进一步推动幻觉矫正技术的发展，Vectara 还发布了一个名为 HCMBench 的开源评估工具包。该基准提供了一个标准化的方法来评估不同幻觉矫正模型的效果，支持多种评估指标，旨在帮助整个社区评估幻觉矫正声明的准确性，包括 Vectara 自身的方案。
Vectara 的创新方法为企业应对 AI 幻觉风险提供了一个新的思路。相较于仅仅检测或在高风险场景中放弃使用 AI，企业现在可以考虑部署能够主动纠正错误的方案。这种方法尤其适用于对准确性要求极高的高价值工作流程。当然，企业在引入此类自动纠正机制的同时，仍应考虑保留一定的人工监督能力，并利用 HCMBench 等基准工具进行充分评估。随着幻觉矫正技术的不断成熟，企业有望在更多以前受限的领域安全地部署 AI，同时确保关键业务运营所需的准确性。
Vectara最近推出了一种名为“幻觉校正器”（Hallucination Corrector）的新功能，旨在减少AI生成内容中的“幻觉”现象，提高AI应用的可靠性和准确性。
核心功能
-
幻觉检测与纠正：该功能能够检测AI生成内容与原始数据源之间的不一致，并提供纠正后的版本。它通过比较生成的摘要与源文档，仅对必要的部分进行最小化更改，以确保内容的准确性。
-
详细解释与透明化：幻觉校正器不仅纠正错误，还会解释为什么某部分内容被视为幻觉，并提供纠正后的详细说明。
-
多种用户体验选项：用户可以根据需求选择无缝校正、突出显示更改、提供更正建议等多种方式，以便更好地整合到现有应用中。
技术优势
-
显著降低幻觉率：在企业AI系统中，幻觉校正器能够将少于7B参数的LLM的幻觉率降低至小于1%，接近Google和OpenAI旗舰模型的准确性。
-
基于事实的生成：Vectara平台采用基于事实的生成方法，在生成文本之前和之后都会进行事实检索和验证，确保生成内容与源数据一致。
应用场景
-
企业级应用：适用于金融服务、医疗保健、法律等高度受监管的行业，帮助企业在使用AI时避免因幻觉问题导致的错误决策。
-
开发与集成：提供API接口，方便开发者将其集成到现有的AI应用中，无需重新架构后端系统。
开源基准
作为幻觉校正器发布的一部分，Vectara还推出了新的开源幻觉校正基准，为AI行业提供标准化的工具包，以衡量幻觉校正器的性能。
总体来看，Vectara的幻觉校正器为解决AI生成内容中的准确性问题提供了一种有效的解决方案，有望推动AI应用在更多领域的安全和可靠部署。
本网站(https://aigc.izzi.cn)刊载的所有内容，包括文字、图片、音频、视频等均在网上搜集。
访问者可将本网站提供的内容或服务用于个人学习、研究或欣赏，以及其他非商业性或非盈利性用途，但同时应遵守著作权法及其他相关法律的规定，不得侵犯本网站及相关权利人的合法权利。除此以外，将本网站任何内容或服务用于其他用途时，须征得本网站及相关权利人的书面许可，并支付报酬。
本网站内容原作者如不愿意在本网站刊登内容，请及时通知本站，予以删除。
