![文章封面](https://developer.qcloudimg.com/http-save/10106350/a81f7d2bf6e23a18e0fa748e6ad89392.jpg)

DeepSeek开源了内部推理框架DeepInfer，这是公司内部用于大规模模型推理服务的框架，官方说法是"分享我们的生产级技术栈，帮助社区降低计算成本、减少能源消耗，让AI更可负担"。框架采用Apache License 2.0许可协议开源，一个第三方信源观察到，DeepInfer发布后8小时内星标数超过6300。aihot.news不同时间点抓取到的仓库数据有差异：较早时间点显示星标17.6千、关注者38、分叉1.8千，之后更新的数据显示星标18.1千、关注者40、分叉1.9千，两组数字均来自同一来源的不同条目，时间先后关系不明确，这里分别注明。

![](https://developer.qcloudimg.com/http-save/10106350/bf3d7ea4c9de11ab782c34a896dcba47.jpg)

DeepSeek说明DeepInfer目前支撑的是DeepSeek-V4.1-Flash模型的高吞吐低延迟推理。但第三方分析指出，这次发布覆盖的范围有限，只跑通了DeepSeek-V4.1-Flash这一个模型，硬件限定在英伟达SM100 GPU或华为昇腾950 NPU，而且只覆盖离线推理，不是完整的在线服务栈。换句话说，开源出来的是生产系统的一部分，而非DeepSeek线上对外提供服务时使用的全套基础设施。

技术层面，DeepInfer支持分布式推理、推测解码（speculative decoding，先用小模型或草稿机制预测后续内容再做验证的加速技术）、SWA Bounded Replay 以及结构化输出。其中一个具体机制是DSpark，最多提前起草5个Token（Token 是模型处理文本时切分出的最小单元），用置信度估计来安排验证顺序，减少完整计算的次数。另一个机制是Bounded Replay，推理时只重新计算140个Token长度的后缀，这个长度刚好覆盖滑动注意力窗口的范围，从而缩短prefill（预填充阶段）的耗时。框架里还有一个环境变量DEEPINFER_USE_NEXTN_DECODE，控制草稿的最大长度，默认值是5。

硬件适配上，DeepInfer分别支持英伟达和华为昇腾两条路线，构建环境要求Python 3.12、GCC 13.0以上版本，英伟达平台需要CUDA 13，昇腾平台需要CANN 9.2。两条路线并行支持，说明DeepSeek在推理框架设计时没有把自己限定在单一芯片供应商上。

同时开源的deepseek-recipe是一个分词编解码组件，官方说明它与DeepSeek官方API的处理逻辑完整对齐，安装要求Python 3.10以上版本，代码和公开文档采用MIT许可证。该组件里设置了几个默认的max_tokens数值：非思考模式下为8192，思考模式下为65536，思考模式且设置最大努力程度时为131072。deepseek-recipe仓库的星标数为2.0千，关注者2人，分叉246个，规模明显小于DeepInfer主仓库。

一个信源提到，DeepSeek此前已经开源过一系列大模型、编译工具TileLang以及推理算子库，这次把内部推理框架也开源，是在此基础上的延续动作。另有一条社交媒体评论提到美国政府近期在联邦机构范围内禁用了DeepSeek，评论认为开源推理框架的时间点与这一禁令形成对比，但这条信息只是单一来源的个人评论，不构成独立核实的事实陈述。

目前能确认的是开源范围、许可协议、支持的硬件型号和模型种类，以及几个具体的性能优化机制。DeepInfer后续是否会扩展支持更多模型、是否会补齐在线服务栈的部分，以及社区贡献会如何影响这个项目的走向，现有材料都没有给出答案。

DeepSeek将内部推理框架DeepInfer以Apache 2.0许可开源，用于支撑V4.1-Flash模型的推理服务，同时发布分词组件deepseek-recipe，目前仅支持单一模型和部分硬件。

DeepSeek开源推理框架DeepInfer，支持英伟达昇腾双平台

人工智能

开发工具

硬件

DeepSeek开源内部推理框架DeepInfer，采用Apache2.0协议，发布8小时内GitHub星标超6300。该框架支持分布式推理、推测解码及DSpark技术，默认草稿5个Token，硬件适配英伟达SM100和华为昇腾950，当前仅支持DeepSeek-V4.1-Flash离线推理。同时开源deepseek-recipe分词组件，与官方API对齐，MIT许可。

DeepSeek

快速部署LLM、AI绘画等应用,助你玩转AIGC！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

DeepSeek开源内部推理框架DeepInfer，采用Apache2.0协议，发布8小时内GitHub星标超6300。该框架支持分布式推理、推测解码及DSpark技术，默认草稿5个Token，硬件适配英伟达SM100和华为昇腾950，当前仅支持DeepSeek-V4.1-Flash离线推理。同时开源deepseek-...

DeepSeek开源推理框架DeepInfer，支持英伟达昇腾双平台-腾讯云开发者社区-腾讯云

DeepSeek开源推理框架DeepInfer，支持英伟达昇腾双平台

DeepSeek开源推理框架DeepInfer，支持英伟达昇腾双平台

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐