腾讯11月18日开放Hy4 flash模型权重,提供标准版、FP8版和供后续训练使用的基础模型。此前,该模型已通过腾讯旗下应用和云端API提供服务,这次开放让开发者可以下载并自行部署。

Hy4 flash支持文字和图片输入、文字输出,上下文窗口最长约100万token,面向资料研究、文档处理、表格工作等日常任务。

根据腾讯最新模型文档,Hy4 flash总参数约2200亿,每个token激活约120亿参数。它采用混合专家架构,并结合稀疏注意力和滑动窗口注意力,降低长文本处理的计算开销。

腾讯同时提供了部署、量化和微调说明,开发者可以据此搭建本地推理服务,或进一步训练模型。相关权重采用Tencent Hy License。