小米开源空间音频语言模型MiDashengLM-Spatial,将声音内容理解与空间感知结合起来。模型不仅可以判断录音中出现了什么声音,还能识别声源的方向及其随时间发生的变化。
该模型结合了小米已有的音频理解模型MiDashengLM和空间音频模型SpatialDasheng,能够处理语音、音乐及环境声音。在多个声音同时出现时,模型可对不同声源进行定位,并回答与声音内容、位置有关的问题。
项目使用的数据覆盖约100万个空间声学场景、1.3万小时音频及600万组问答。模型支持双声道音频输入,也可以处理单声道音频,但后者不具备方向信息。
MiDashengLM-Spatial采用Apache 2.0许可证开放,支持研究和商业使用。





