技术百科首页 >推理加速框架 >推理加速框架中的 RadixAttention 与 PagedAttention 有何不同? 推理加速框架中的 RadixAttention 与 PagedAttention 有何不同?
1. 共同点
- 两者都解决 KV 缓存的高效管理问题,都是现代推理框架提升显存效率与并发能力的核心机制
2. PagedAttention(vLLM)的思路
- 借鉴操作系统虚拟内存分页,将 KV 缓存切分为固定大小分页,用块表映射逻辑与物理块,主要消除内存碎片、提升单请求 / 单批次内的显存利用率
3. RadixAttention(SGLang)的思路
- 在分页基础上引入基数树(前缀树)结构,自动跨请求匹配并复用公共前缀的 KV 缓存
- 相比 vLLM 基于哈希的前缀缓存需"完全一致前缀"才能命中,RadixAttention 可匹配部分前缀,粒度更细,在 Agent 循环、多轮对话、共享系统提示词等前缀高度重叠的场景收益显著
4. 定位差异
- PagedAttention 解决"单请求内显存碎片"问题,RadixAttention 进一步解决"跨请求前缀重复计算"问题,二者在不少框架中互补共存