5月30日,华为宣布推出参数规模高达7180亿的全新模型盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。据悉,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法上,华为团队首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代。 华为昇腾 你可能会喜欢 3cat:让二手电子设备也能成为马来西亚人的第一选择2025/06/26 18:01 马斯克 AI 项目遭批:xAI 数据中心空气品质检测忽略雾霾,监测设备违规布设2025/06/26 14:42 Switch 2 虽好,但第三方厂商的焦虑仍在继续2025/06/26 13:23 动察:理想i6,让自己和对手都紧张的车型2025/06/26 12:54