开发者社区

文档建议反馈控制台

技术百科

搜索技术百科

技术百科

发布

技术百科首页 >推理加速框架 >推理加速框架如何支撑高并发在线推理服务？

推理加速框架如何支撑高并发在线推理服务？

修改于 2026-10-21 18:18:31

5

词条归属：推理加速框架

1. 连续批处理填满 GPU

动态拼批使 GPU 在高并发下持续满载，吞吐随并发近似线性提升

2. 大批次摊薄权重搬运

并发越高，一次权重加载服务的 token 越多，显存带宽效率越高

3. 前缀缓存减少重复计算

对共享系统提示词、少样本示例的请求复用 KV 缓存，缩短首字延迟

4. 负载均衡与横向扩展

配合多节点部署与网关路由，将流量分散到多个推理实例，进一步提升整体服务能力

相关文章

vLLM高吞吐推理引擎：本地高并发推理服务

模型自动推理

Ollama 把"一个人用本地模型"做到了极致，但它的默认假设是单用户：请求一次一个，排队执行。等到多个人共用一台机器，或者要把模型接进内部应用当服务用，瓶颈就露出来了。这一篇讲 vLLM——本地推理从"单机自用"走向"团队服务"的那一层，重点说清它凭什么比裸 transformers 快一个量级（PagedAttention 与 continuous batching 两个机制），以及它和 Ollama 各自站在什么位置。

2026-10-08

1760

45. Async Engine 设计：构建高并发推理服务的核心

异步 async 服务高并发设计

作者：HOS(安全风信子) 日期：2026-01-19 来源平台：GitHub 摘要：本文深入剖析vLLM Async Engine的设计原理与实现细节，揭示其如何通过异步编程模型、协程调度和高效IO管理实现高并发推理服务。从Aiohttp集成到协程调度器，从背压处理到异步模型加载，全面覆盖异步引擎的核心组件与工作机制。通过真实代码示例和性能对比，展示Async Engine在生产环境中的优势与应用实践。最后探讨异步推理的未来趋势，为构建下一代高并发推理服务提供技术参考。

安全风信子

2026-01-31

4750

论文解读：DeepSeek DSpark 在真实高并发推理服务中，如何保证 Token 生成又好又快？

代码生成工具 DeepSeek 自动推理 AIGC token

刚刚过去的周末，DeepSeek 发布了一篇关于推理加速的新论文：《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》，内容聚焦在大模型推理服务中的一个具体问题：在真实高并发场景下，Speculative Decoding 如何既提升生成速度，又减少目标大模型的无效验证计算？

七牛开发者

2026-06-30

3480

边缘计算+AI算力网络：如何构建低延迟、高并发的实时推理系统？

模型网络系统边缘计算高并发

在数字化转型的浪潮中，人工智能技术与边缘计算的融合正在创造一场计算范式的革命。传统的云计算模式虽然提供了强大的计算能力，但面临着网络延迟高、带宽不足、响应速度慢等挑战，特别是在需要实时响应的场景中。随着物联网设备的激增和AI应用的普及，边缘计算逐渐成为解决这些挑战的关键技术路径。边缘计算将计算资源和数据处理能力下沉到网络边缘，靠近数据源和用户，从而减少数据传输延迟，提高系统响应速度。而AI算力网络则通过分布式计算和优化的算法，进一步提升边缘设备的推理性能。这种结合为构建低延迟、高并发的实时推理系统提供了新的可能。

大熊计算机

2025-07-19

2.2K0

腾讯视频 Node.js 服务是如何支撑国庆阅兵直播高并发的？

缓存 cdn nginx 压力测试云数据库 Redis®

导语 | 上个月，我有幸参与了腾讯视频国庆阅兵直播页面开发的相关工作，最终，累计观看2.38亿人次，经受住了高并发的考验。在参于Glama框架的开发维护及平时基础建设相关讨论实践中，对高并发有一些部分实践心得，正好老友也想了解腾讯视频这边的经验，特撰写本文，对相关经验进行梳理总结，与大家探讨。（本文作者：Lucienduan，腾讯视频Web前端高级工程师）

2019-10-29

1.6K0

点击加载更多

词条知识树 22个知识点