推理加速框架如何适配 GPU、CPU、NPU 等不同硬件？

1. NVIDIA GPU（CUDA）

• vLLM、TensorRT-LLM、SGLang 等以 CUDA 内核为主，在 NVIDIA 数据中心 GPU 上提供最高性能

2. CPU / Apple Silicon / AMD

• llama.cpp、Ollama 通过 Metal、Vulkan、ROCm 等后端，将推理能力扩展到消费级硬件与 CPU 环境

3. 端侧与专用加速器（NPU）

• 通过 GGUF 量化与轻量运行时（如 MLX 面向 Apple Silicon）在手机、PC、边缘设备运行大模型

4. 量化是跨硬件的关键

• 低位量化让大模型在显存 / 内存受限的硬件上也能运行，是硬件适配的基础手段