目前主流的开源推理加速框架有哪些？

1. vLLM

• 由 UC Berkeley 提出，以 PagedAttention 与连续批处理著称，Apache 2.0 协议，模型覆盖广、生产部署成熟

2. SGLang

• 源自 LMSYS / UC Berkeley，以 RadixAttention 自动复用跨请求前缀缓存见长，Apache 2.0 协议，擅长 Agent 与多租户高重叠提示词场景

3. TensorRT-LLM

• NVIDIA 官方开源库，基于 CUDA 自定义内核与提前编译，在 NVIDIA GPU 上提供最强单流延迟，Apache 2.0 协议，与 Triton 推理服务器深度集成

4. llama.cpp 与 Ollama

• llama.cpp 以 C/C++ 实现，支持 CPU、CUDA、Metal、Vulkan、ROCm 等后端与 GGUF 量化，适用于本地与边缘设备；Ollama 构建于 llama.cpp 之上，提供简洁的模型管理与 OpenAI 兼容接口

5. 其他框架

• LMDeploy、MLC-LLM、DeepSpeed-FastGen 等也在特定场景（如国产芯片、端侧、大规模分布式）中广泛使用