DeepSeek开源生产级推理引擎DeepInfer，华为昇腾与英伟达并列首发支持

DeepSeek 于 2026 年 10 月 20 日在 X 平台宣布，正式开源其内部生产环境所用的推理框架 DeepInfer。这个动作意义重大——就在一年多前，这家公司还曾公开表示完整开源推理引擎并不可行。如今，开发者可以下载 DeepInfer，在自己搭建的基础设施上运行 DeepSeek 的 V4.1 Flash 模型，并享受与 DeepSeek 官方 API 背后基本相同的优化。公司还承诺，未来发布的新模型也将获得该框架支持。

从“只给权重”到“交出生产栈”

过去，DeepSeek 一直开放模型权重，开发者可以借助 vLLM 等第三方软件自行运行模型。但“跑起来”和“跑得高效”完全是两回事。推理引擎负责请求调度、芯片间的任务分配和响应生成，直接决定速度、吞吐量和计算成本。DeepInfer 的开源，等于把 DeepSeek 应对这些挑战的内部方案完整交到了开发者手上。

DeepSeek 在公告中写道：“我们正在分享我们的生产栈，帮助社区降低计算成本、减少能源消耗，让 AI 变得更便宜。”这条发布推文提到，DeepInfer 正以高吞吐、低延迟的方式支撑 DeepSeek-V4.1-Flash 的大规模线上服务。

框架里都有什么

DeepInfer 以 Apache 2.0 许可证发布，包含优化的计算内核和通信库，其中整合了 DeepSeek 此前开源的 FlashMLA、DeepGEMM 和 DeepEP，并附带跨多芯片分布式推理机制。框架还支持投机解码——通过一次预测并验证多个 token 来加速响应生成——以及异步调度，减少处理器等待新任务的时间。此外，它支持结构化输出，开发者可以指定模型回复的格式。

与 DeepInfer 一同开源的还有 deepseek-recipe 配套库，负责将 API 请求转换为模型输入，并把模型输出加工成响应。该库提供 Rust 和 Python 两个版本，帮助开发者在自部署时尽可能复现 DeepSeek 官方 API 的行为。这个库其实在 9 月已低调发布，本周二又发布了更新版本。

值得注意的是，这次发布紧随 DeepSeek 上周推出 V4.1 Flash 升级版 DeepSeek-V4.1-Flash-1017 之后，新版本主打编程能力和效率的改进。同期，DeepSeek 还通过全新的 Search 和 Fetch API，将自研网页搜索技术开放给开发者。

2025 年为何犹豫，现在又为何放手

早在 2025 年 4 月，DeepSeek 曾发布文档说明其推理引擎的开源计划，表示曾考虑直接开源整套系统，但最终决定改为向现有项目贡献独立组件和改进。当时列出的障碍包括：推理软件从 vLLM 早期版本演化为高度定制的系统，而公司规模不大的研究团队难以再维护一个大型开源项目。

“该引擎与我们的内部基础设施（包括集群管理工具）深度耦合，不经过大规模改造很难公开部署。”DeepSeek 当时写道。

那现在问题是怎么解决的？DeepSeek 没有明确解释，但从发布范围能看出端倪：文档明确指出，公开版本目前支持离线推理，具备“大规模服务所需的核心功能”，但缺少 KV 缓存管理系统、跨机器的推理阶段分离基础设施，以及副本间的负载均衡等完整生产服务组件。换句话说，DeepSeek 开放了引擎的核心部分，把周边基础设施留给了开发者——这种“缩小范围”的发布策略，或许正是它绕过去年那些障碍的办法。

华为昇腾 950 与英伟达并列支持

比开源引擎本身更有意思的，是首发支持的硬件名单。英伟达在列，符合预期，但仅限 SM100 架构——也就是 Blackwell 数据中心 GPU。另一家支持的硬件是华为昇腾 950 NPU 系列，让这家中国芯片厂商在 DeepSeek 的兼容硬件名单上与英伟达平起平坐。而 Hopper 等较老的英伟达架构则明显缺席。

这延续了 DeepSeek 在 2025 年开源计划中的承诺：与硬件厂商提前协作，确保未来模型发布第一天就能在不同芯片架构上运行。美国出口管制使中国公司获取英伟达最先进芯片变得复杂，也让 DeepSeek 与华为越走越近的关系有了另一层含义。据彭博社 9 月报道，DeepSeek 计划在内蒙古一座新数据中心部署至少 16 万颗华为昇腾 950DT 芯片，专门用于运行其模型。此外，《The Information》9 月报道，DeepSeek 还计划在训练环节扩大华为芯片的使用，最早于第四季度开始交付；路透社随后报道，DeepSeek 与华为正合作开发让昇腾处理器更易编程的软件工具。

开发者社区对此反应热烈。Reddit 上有评论把两平台支持称为本次新闻的最大亮点，还有人将 DeepSeek 的技术功力归因于其量化交易的出身：“DeepSeek 再次证明高频交易员有多擅长性能优化……而且是在昇腾 NPU 上！”另有用户调侃 Anthropic 的 Claude Opus 5.5——此前有报道称涉及华为 AI 芯片内核编程的请求会触发安全机制、被转给较旧模型处理：“别让 Opus 5.5 看到这个！它会把昇腾支持删掉的。”

两平台能力并不对等

需要指出的是，英伟达与华为两套实现的功能存在差异。DeepInfer 的批量不变推理和确定性采样特性——用于确保在指定条件下输出可复现——目前仅在英伟达硬件上可用。DeepSeek 公布的性能数据也全部基于英伟达 GPU：预填充用 4 块 SM100 GPU，解码用 64 块。框架在华为芯片上的实际表现如何，目前仍是未知数。

对于既没有英伟达也没有昇腾芯片的开发者来说，眼下最直接的价值或许在于研读新公开的代码，把其中的优化思路移植到其他推理引擎上。但无论如何，DeepSeek 已经把远比以往更多的推理技术交给了开源社区，未来值得持续关注。