DeepSeek宣布将内部推理框架DeepInfer全面开源。这家企业表示，大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模模型服务，关键取决于推理框架这一中间层。
DeepInfer推理框架集成了高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力。它兼容英伟达与华为昇腾平台，同步开源的生产级Token编解码组件与官方API处理逻辑完整对齐。
基于DeepInfer，DeepSeek已实现DeepSeek V4.1 Flash大模型的高吞吐、低延迟推理服务。未来新模型的推理代码及优化方案都将在此框架上持续更新。公司强调，开源部署经验能帮助开发者优化大规模推理效率，降低算力成本和能源消耗。
DeepSeek表示，希望通过分享技术积累，让智能以更低价格触达更广泛人群，实现真正的大模型普惠。这些公司希望借助开源技术，在未来推动全球AI服务范围与质量的提升，让有限资源在基础设施与用户终端间更高效流转。
