浪潮信息元脑CPU推理服务器，支持32B大模型高效推理

浪潮信息推出元脑CPU推理服务器，能够高效运行DeepSeek和千问QwQ等新一代大推理模型。元脑CPU推理服务器NF8260G7和NF8480G7采用4颗高性能通用CPU和多通道内存系统，结合先进的张量并行策略和AMX加速技术，单机即可高效运行DeepSeek-R1 32B和QwQ-32B推理模型，支持20个并发用户请求，成为企业快速、低投入部署大模型平台的理想算力选择。这些服务器通过软硬协同优化，为32B模型推理与云计算、数据库等通用关键业务场景提供高效、灵活、稳定的AI通用算力支撑。

元脑CPU推理服务器NF8260G7和NF8480G7已完成与DeepSeek-R1 32B和QwQ-32B等大模型的深度适配和优化。在算力方面，服务器设计采用4颗32核心的英特尔至强处理器6448H，支持张量并行计算，具备超强的BF16精度AI推理能力和高内存容量及带宽，满足模型计算和存储需求。在算法方面，服务器对主流的企业级大模型推理服务框架vLLM进行深度定制优化，实现多处理器并行计算，效率最高提升4倍，解码性能提升2倍。（美通社，2025年3月20日北京）