首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >推理加速框架 >推理加速框架中的 RadixAttention 与 PagedAttention 有何不同?

推理加速框架中的 RadixAttention 与 PagedAttention 有何不同?

词条归属:推理加速框架

1. 共同点

  • 两者都解决 KV 缓存的高效管理问题,都是现代推理框架提升显存效率与并发能力的核心机制

2. PagedAttention(vLLM)的思路

  • 借鉴操作系统虚拟内存分页,将 KV 缓存切分为固定大小分页,用块表映射逻辑与物理块,主要消除内存碎片、提升单请求 / 单批次内的显存利用率

3. RadixAttention(SGLang)的思路

  • 在分页基础上引入基数树(前缀树)结构,自动跨请求匹配并复用公共前缀的 KV 缓存
  • 相比 vLLM 基于哈希的前缀缓存需"完全一致前缀"才能命中,RadixAttention 可匹配部分前缀,粒度更细,在 Agent 循环、多轮对话、共享系统提示词等前缀高度重叠的场景收益显著

4. 定位差异

  • PagedAttention 解决"单请求内显存碎片"问题,RadixAttention 进一步解决"跨请求前缀重复计算"问题,二者在不少框架中互补共存
相关文章
大语言模型推理框架调研
大语言模型(LLM)的迅猛发展及其在自然语言处理、代码生成、多模态交互等领域的广泛应用,对底层推理基础设施提出了前所未有的挑战。模型规模的急剧膨胀(参数量从数十亿扩展至数万亿)和复杂计算需求(如注意力机制)导致推理过程中的显存占用巨大、计算延迟高昂。为了在实际生产环境中高效、经济地部署 LLM,业界涌现出一系列专门针对 LLM 推理优化的框架。这些框架通过引入创新的内存管理机制、批处理策略、并行计算技术以及硬件加速等手段,旨在提升推理吞吐量、降低延迟、优化资源利用率。
磊叔的技术博客
2025-06-03
5.1K0
从大模型性能优化到DeepSeek部署|得物技术
Deepseek-r1模型的爆火标志着本地部署大模型的需求日益增长。本文主要探讨如何优化本地部署大模型的性能,并结合我们的实践进行评测分析,文章最后我们将分享如何在本地高效部署满血版Deepseek-r1大模型。
得物技术
2025-02-18
2.2K0
终结“显存焦虑”:2026 推理基建新范式,用 vLLM + SGLang 构建企业级高并发 LLM Serving
过去两年,许多团队直接使用 HuggingFace Transformers 或早期 TGI 部署模型。但在面对 Agent 时代的真实流量时,暴露出三大性能死穴:
用户12583550
2026-07-11
8930
Hinton的GLOM模型与千脑理论有何本质不同?
Geoffrey Hinton在最新发表的一篇论文“如何在神经网络中表示部分-整体层次结构”中提出了一种被称为GLOM的新理论。
AI科技评论
2021-05-19
1.6K0
VLLM大模型高效加载原理解析PagedAttention核心机制、推理流程、性能优化.182
通过反复对大模型的学习了解,我们知道Transformer架构大模型普遍存在参数量庞大、显存占用极高、推理并发能力弱、长文本对话卡顿、批量请求处理效率低下等行业痛点。传统Transformers原生推理方式采用逐Token串行计算,KV缓存无序占用显存,大量显存碎片无法复用,单卡只能支撑极低并发对话请求,完全无法适配在线 API 服务、多用户并发聊天、长上下文对话、批量离线推理等真实生产场景。
未闻花名
2026-08-01
4032
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券