英伟达发布统一音频智能模型 Nemotron-Labs-Audex-30B-A3B

在多模态大模型快速迭代的今天，音频处理能力往往容易被“牺牲”——很多模型在增强音频理解的同时，却导致了文本逻辑能力的下降。近日，NVIDIA 研究团队正式发布了一款名为 Nemotron-Labs-Audex-30B-A3B（简称 Audex）的统一音频-文本大语言模型，试图破解这一技术难题。

Audex 的设计理念非常简洁高效。它基于强大的纯文本 MoE（混合专家模型）架构构建，采用单一的 Transformer 解码器，实现了文本与量化音频 token 的统一处理。这种架构不仅让音频输入能够平滑地投影到文本嵌入空间，还确保了模型在处理多模态任务时，能够与现有的 LLM 基础设施无缝兼容，从而实现真正意义上的深度融合。

为了训练这个强大的模型，研究团队整理了海量数据，涵盖了 1574 亿音频 token 和 3205 亿文本 token。通过多阶段的监督训练、纯文本 Cascade RL（强化学习）以及多域在策略知识蒸馏，Audex 在各项指标上均表现出色。它不仅在音频理解、语音识别、翻译、以及音频生成等任务中达到了行业领先水平，更难能可贵的是，它几乎完美保留了原版 LLM 在推理、对齐、知识储备及长文本处理方面的核心能力，性能衰退微乎其微。

作为一款开源模型，Audex 的发布对语音技术行业而言无疑是一个积极信号。它不再是一个仅仅停留在论文演示阶段的研究 Demo，而是为开发者提供了一个可直接评估、部署的成熟工具。对于需要处理复杂音频交互的产品开发者来说，Audex 提供了一种平衡性能与功能的新选择，也为未来的多模态智能体研究打开了新的大门。