Omni-R1 新型音频问答系统：借助文本驱动的强化学习与自动数据生成革新音频问答

Omni-R1 是一种基于多模态大语言模型 Qwen2.5-Omni 的音频问答模型，通过文本驱动的强化学习和自动生成的数据来提升音频问答性能。以下是关于该模型的详细介绍：

模型架构与方法

• 基础模型：Omni-R1 基于 Qwen2.5-Omni-7B 多模态大语言模型，该模型能够处理文本、音频等多种模态数据。

• 强化学习方法：采用群体相对策略优化（GRPO）方法对模型进行微调。GRPO 通过对比多个候选答案，选择逻辑更清晰、推理更合理的输出，从而提升模型的推理能力。

• 文本驱动的强化学习：研究发现，GRPO 带来的性能提升在很大程度上归因于更好的文本推理能力。即使在没有音频输入的情况下，仅通过文本数据集进行微调，也能有效提升基于音频的任务表现。

数据生成与训练

• 自动生成问答数据集：Omni-R1 利用 ChatGPT 自动生成音频问答数据集。首先从音频 LLM 获取基于音频的文本说明，然后使用这些说明提示 ChatGPT 生成问题和答案，包括一个正确答案和三个相似但错误的选项。

• 扩展数据集：该方法为 AVQA 数据集生成了 4 万个音频的问题，命名为 AVQA-GPT；并扩展到 VGGSound 数据集的 18.2 万个音频文件，命名为 VGGS-GPT。

性能表现

• 在 MMAU 基准测试中达到 SOTA：Omni-R1 在 MMAU 基准测试的 Test-mini 和 Test-full 数据分割中，于声音、音乐、语音及整体平均类别上均取得了最高的准确率。

• 文本推理能力的提升：实验表明，即使不使用音频数据，仅通过文本微调也能显著提升音频问答任务的性能，这表明强化学习不仅提升了音频理解能力，还增强了模型的整体泛化能力。

创新点与贡献

• 无需复杂提示或显式推理：Omni-R1 通过简化的 GRPO 微调，在无需复杂提示或显式推理的情况下实现了 SOTA 性能。

• 自动生成数据集：通过自动生成音频问答数据集，扩展了可用于训练的数据规模，进一步提升了模型性能。

• 揭示文本推理对音频任务的影响：研究发现仅通过文本微调就能提升音频任务的表现，为未来多模态模型的研究提供了新的方向。

Omni-R1 的研究不仅在音频问答任务上取得了显著进展，还展示了强化学习和文本驱动方法在提升多模态模型性能方面的潜力。