蚂蚁百灵开源Ming-3.0语音系列,共包含5款模型,覆盖语音合成、音频理解与对话、语音识别。开发者可以单独使用,也可以组合不同模型,搭建从语音输入到回答播报的应用。

其中,语音合成模型既支持参考录音设定音色,也支持用文字描述目标声音。“导演模式”允许用户指定情绪变化、重读词语和说话节奏,控制台词的表达方式。

音频理解模型可直接处理长录音,完成转写、总结和观点分析,并保留说话人、情绪及环境声音等信息。语音识别模型则支持结合热词列表和对话上下文,识别普通话、英文、方言及专业词汇。

据蚂蚁介绍,相关能力已用于阿福App、支付宝搜索、医生助手及内部办公等业务。