很多团队第一次接触 LLM Gateway，是从一个很小的需求开始的：把散落在各个服务里的模型 API Key 收回来。做着做着就会发现，大模型调用和普通 HTTP 调用有几个根本不同：一次请求可能持续几十秒、响应是流式的、成本由 Token 而不是请求数决定。这几个不同，决定了 LLM Gateway 在架构上和传统 API 网关有明显区别。本文从一次请求的完整链路讲起，把概念、架构和核心能力落到代码和数字上。

LLM Gateway（大语言模型网关）是位于应用与大语言模型服务之间的代理层，对外提供统一的模型调用接口，对内负责鉴权、路由、Token 限流与计量、缓存、流式转发和可观测。

与传统 API 网关相比，LLM Gateway 需要处理三个特殊之处：

二、LLM Gateway 的请求链路：一次流式调用经过什么

以 OpenAI 兼容接口为例，应用发出的流式请求如下：

这里有两个细节：Authorization 中是网关签发的虚拟密钥，而不是模型厂商的真实密钥；model 字段是网关定义的路由别名，具体发往哪个模型由网关决定。stream

usage 让上游在流的末尾返回 Token 用量，这是网关结算的依据。

在网关内部，这次请求依次经过：

：解析虚拟密钥，映射到团队、应用和配额。

tokens，从团队的 TPM 令牌桶中预占。

：精确缓存或语义缓存命中则直接返回。

：在别名对应的候选模型中选择端点。

：替换为真实密钥，转换为目标模型的原生格式。

：逐段转发给客户端，同时累积输出用于检测与计量。

：用上游返回的 usage 修正预占量，写入计量与账单。

三、LLM Gateway 的核心能力：三段关键代码

LLM Gateway 的核心代码，是一个"边收边发"的流式代理。下面是基于 Python 异步框架的示意：

这段代码中有三个值得注意的工程点：上游连接要设置合理的读超时（按两次数据块之间的间隔，而不是整次请求时长）；客户端中途断开时要及时取消上游请求，否则会继续产生费用；如果上游没有返回 usage，需要用本地分词器估算并标记为估算值。

能力二：Token 限流——预占与结算

按请求数限流对 LLM 几乎没有意义，一个 10 万 Token 的请求和一个 100 Token 的请求成本相差上千倍。LLM Gateway 通常按每分钟 Token 数（TPM）做令牌桶限流，但输出 Token 数在请求时未知，所以要分两步：

tokens"计算，结算时退回多占的部分。如果应用不设置 max

tokens，网关应给一个默认上限，否则预占量会过大，导致限流过早触发。多实例部署时，令牌桶状态放在 Redis 等共享存储中，用原子操作完成预占与退还。

能力三：回退——只在首个 Token 之前

流式场景下的重试有一个硬约束：一旦已经向客户端输出了内容，就不能再透明地切换到另一个模型，否则用户会看到两段拼接在一起的回答。所以回退逻辑是：

timeout）是这里的关键参数，设得太短会误判正常的长提示词请求，设得太长会让用户等待过久，建议按模型和提示词长度分档设置。

四、LLM Gateway 的缓存：精确缓存与语义缓存

 以请求的规范化内容（模型、消息、关键参数）的哈希作为键，命中条件严格，适合重复的系统调用、批处理任务。

 把用户问题转为向量，与历史问题做相似度比较，超过阈值即返回历史答案。它能覆盖"同一个问题的不同问法"，但阈值的选择是一个权衡：阈值太低，会把意思不同的问题当成相同；太高则命中率低。实践中常见的做法是按场景分别设置阈值、只对无个性化上下文的问答启用、为缓存条目设置过期时间，并抽样评估缓存答案的正确率。

此外还要区分网关缓存与模型厂商的提示词缓存：后者在模型侧对相同的长前缀给予计价折扣，网关能做的是保持系统提示词和检索内容的前缀稳定，以提高命中率。

五、LLM Gateway 的部署架构：在 Kubernetes 上运行

LLM Gateway 在 Kubernetes 上的部署架构

容量规划：并发连接比 QPS 更重要

LLM Gateway 的瓶颈通常不是 CPU，而是长连接数量。用利特尔法则估算：

1000 条并发流意味着网关要同时保持约 1000 个客户端连接和 1000 个上游连接。规划时要关注：每个 Pod 的连接数上限与内存占用、负载均衡器和入口控制器的空闲超时（必须大于流式请求可能的最长间隔，否则长回答会被中途切断）、滚动发布时的优雅终止时间（要足够让存量流完成）。

应用集中在一个云上时，网关与应用同集群部署即可；应用和模型分布在多云、多地域时，可以按地域部署多套数据面、共享一个控制面，并关注网关到模型服务之间的网络时延。对 Prompt 内容不能出企业网络的场景，也有把网关数据面私有化部署在企业接入层的做法，例如犀思云私有 AI 网关将脱敏与审计放在企业本地接入设备上完成。

说明：文中配置与代码为教学示意；时延、比例与容量为量级示意或示例估算，以实测为准；协议与法规以官方原文为准。

什么是LLM Gateway？概念、架构与核心能力全解析（附请求链路与代码示例）

LLM Gateway 是应用与大模型间的代理层，具备鉴权路由、Token 预占结算、流式转发、缓存、故障回退能力。部署需重视长连接容量，多云多地域可分布式部署数据面。

编程语言

面向后端与平台工程师，解析LLM网关与传统API网关的架构差异。从一次流式请求的完整链路出发，拆解鉴权、Token预占结算、流式代理、回退与缓存等核心能力，附关键代码与Kubernetes部署容量估算。聚焦长连接瓶颈、限流策略与流式回退的工程要点，助你快速构建生产级大模型网关。

负载均衡

平台工程

PostgreSQL

Kubernetes

路由

多云

Python

Redis

JSON

2026上云采购 | AI焕新·智启新局

cngw

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

什么是LLM Gateway？概念、架构与核心能力全解析（附请求链路与代码示例）

什么是LLM Gateway？概念、架构与核心能力全解析（附请求链路与代码示例）

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐