UltraEval-Audio 开源宣布：全模态、语音大年夜模型评测框架

清华 NLP 实验室、OpenBMB 与面壁智能结合宣布并开源 UltraEval-Audio，一个面向音频模型的测评框架。它不仅为音频大年夜模型范畴确立了一套完全的评测办法论，更将这套体系具象化为开箱即用的工程框架，完美了音频评测体系和框架，增长了体系化的评测体系定义（如表1）。

开源地址：https://github.com/OpenBMB/UltraEval-Audio

UltraEval-Audio 最新版本 v1.1.0 在原有的“一键测评”音频模型的基本上，重点新增热点音频模型的一键复现才能，扩大对 TTS/ASR/Codec 等专业模型与专项评测的支撑，并引入隔离推理运行机制，以在工程层面降低复现门槛、晋升评测流程的可控性与可迁徙性。

UltraEval-Audio v1.1.0评测框架 ：

值得一提的是，作为 MiniCPM-o 2.6、VoxCPM 等高影响力音频、全模态模型的御用测评对象，UltraEval-Audio v1.1.0 开源将赞助研究者明显进步音频模型的研发效力。

➤  相干链接

https://github.com/OpenBMB/UltraEval-Audio/tree/main/replication

UltraEval-Audio v1.1.0论文《UltraEval-Audio: A Unified Framework for Comprehensive Evaluation of Audio Foundation Models》：
https://github.com/OpenBMB/UltraEval-Audio/blob/main/assets/UltraEval_Audio__A_Unified_Framework_for_Comprehensive_Evaluation_of_Audio_Large_Language_Models.pdf