5月30日,华为宣布推出参数规模高达7180亿的全新模型盘古Ultra MoE,这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。据悉,盘古团队提出Depth-Scaled Sandwich-Norm(DSSN)稳定架构和TinyInit小初始化的方法,在昇腾平台上实现了超过18TB数据的长期稳定训练。在训练方法上,华为团队首次披露在昇腾CloudMatrix 384超节点上打通大稀疏比MoE强化学习(RL)后训练框架的关键技术,使RL后训练进入超节点集群时代。 华为昇腾 你可能会喜欢 亚马逊子公司 Zoox 的新自动驾驶车辆生产工厂开始启用2025/06/21 09:31 SK集团与亚马逊投资约51亿美元建韩国最大AI数据中心2025/06/20 18:02 巨头密谋AGI破局之道 | MWC2025 上海2025/06/20 17:49 百度加速海外扩张,萝卜快跑或年内登陆新加坡和马来西亚2025/06/20 17:08