DeepSeek开源推理框架DeepInfer，开放其大规模模型服务使用的核心推理能力。目前支持英伟达SM100 GPU和华为昇腾950 NPU，可运行DeepSeek-V4.1-Flash系列模型。
推理框架负责组织模型在芯片上的计算，影响生成速度、响应延迟和硬件利用率。DeepInfer提供多芯片并行、异步任务调度、推测解码及结构化输出等功能，开发者可据此优化模型部署。
此次开放以离线推理为主，尚不包含搭建完整在线服务所需的全部组件。开发者仍需自行补充KV缓存系统、不同推理阶段的分离部署及负载均衡等能力。项目采用Apache 2.0许可证。
