推理加速框架的核心工作机制是什么？

1. 模型加载与权重管理

• 将训练好的模型权重载入 GPU 或 CPU 内存，并按硬件特性做切分（张量并行 / 流水线并行）

2. KV 缓存管理

• 缓存并高效复用历史 token 的键值状态，避免重复计算，是推理优化中最关键的内存环节

3. 请求调度与批处理

• 采用迭代级调度（连续批处理），在每一次前向计算时动态加入或移除请求，使 GPU 始终保持高利用率

4. 优化计算内核

• 使用融合注意力、自定义 CUDA 内核、FlashAttention 等技术加速矩阵乘与注意力计算

5. 网络服务接口

• 以 OpenAI 兼容 API（chat/completions、completions、embeddings）等形式对外提供推理服务