商汤开源了多模态模型SenseNova Loop-9B-Preview。该模型约有90亿参数,通过重复使用部分网络层增加计算深度,支持文档理解、编程和工具调用等任务。

它采用的核心方法,是让同一组网络层对信息连续处理两次,而不为第二轮计算再存储一套权重。具体而言,模型共有32个不同的解码层,其中24层会重复运行,使一次前向计算实际执行56层的运算。

这种设计把模型参数规模与实际计算深度分开:权重可以复用,信息则经过更深的处理过程。模型接收文字和图像输入,并以文字形式输出结果,可用于结合图文材料完成分析和后续操作。

官方公布的训练方案支持最长262,144个token序列,训练材料包括文本、图像、代码和工具使用过程。商汤已公开模型权重、推理方法和训练指南,项目采用Apache 2.0许可证。