小米MiMo团队负责人罗福莉宣布,MiMo-V3将采用全新架构,其核心技术HySparse2已发布。

HySparse2论文显示,在100万Token上下文下,该架构的预填充计算量降至原来的约1/5,KV缓存降至约1/4.5。论文还称,在80B-A3B模型上的测试中,HySparse2提升了长文本检索和多轮智能体任务表现。