首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏iPaaS和系统集成

    什么是AI网关?AI网关如何为企业私有化部署筑防

    什么是AI网关?AI 网关是面向大模型服务的专业化流量治理组件,作为企业AI基础设施与应用的统一连接端点,其核心功能是实现企业大模型服务的安全管控、性能优化与统一管理。 相较于传统API网关,重点解决AI场景下的三大核心问题:异构模型集成复杂性:通过统一管理DeepSeek、GPT、文心一言等多源模型API,标准化接口规范,有效降低企业AI集成的复杂性,并且可实现AI模型的无缝切换 数据安全合规风险:通过AI网关上多种鉴权、认证、脱敏等策略,可有效防止敏感数据泄漏、API滥用及跨境传输风险。并且通过其详细日志记录及追踪,可有效对数据泄漏进行溯源。 服务稳定性挑战:基于AI网关的负载均衡、多模型动态调度等技术,能够保证大模型在高并发场景下的流量调度与故障容错,提升系统稳定性。 ,降低泄露风险基础设施团队‌提升海外模型调用稳定性,日均50TB流量抖动控制在±2ms内AI网关通过“安全-效率-成本”三重平衡,已成为企业构建安全、高效AI基础设施的关键组件,尤其在DeepSeek等国产模型私有化部署中

    1.2K10编辑于 2025-07-04
  • 来自专栏学习java的小白

    springcloud Hoxton.SR11集成gateway网关 坑!!!

    这里根据官网新推出的springcloud Hoxton.SR11版本去集成gateway的一个坑 首先先写版本号: 框架 版本号 springcloud Hoxton.SR11 springboot 在集成gateway网关时会报错如下: *************************** APPLICATION FAILED TO START *************************

    2.4K10发布于 2021-06-08
  • AI 网关不是「API 网关加插件」:从架构分层看能力评估

    信通院近期把AI网关单独列项做能力评估,划出七大能力板块。这件事在架构层面的意义,比「多了一个评估标准」要大得多——它正式承认AI网关是一个新的基础设施品类,而不是传统API网关的补丁。 数据面和控制面都要重做传统API网关的架构假设是「请求-响应」:一次请求进、一次响应出,鉴权、限流、计费都挂在这条边界上。大模型流量打破了这个假设。 这两件事叠加,意味着AI网关的数据面要面向流式传输重写,控制面要面向智能体协议重写。可观测性决定成本能否治理七大板块里,容易被低估的是可观测性。 传统网关的指标是QPS、延迟、错误率,回答「服务通不通」。AI网关的可观测性要回答的是「Token花在哪、谁花的」——这是成本归因问题,不是运维问题。 网关层需要把断路器那套思路搬过来:展开代码语言:TXTAI代码解释主模型超时/限流→熔断,路由到降级模型降级模型也不可用→返回缓存或友好错误关键是降级策略要按「任务类型」而不是按「请求路径」配置:写代码的调用可以降级到轻量模型

    18610编辑于 2026-08-13
  • 来自专栏Lcry个人博客

    11g利用透明网关连接Sqlserver数据库

    为了让oracle直接调用sqlserver里面的表和视图,oracle11g透明网关可以实现这个功能。 一、下载oracleGetway 二、直接解压在WINDOWS机器上解压安装,可以将透明网关安装在sqlserver所在服务器。

    1.9K20编辑于 2022-11-29
  • 来自专栏Se7en的架构笔记

    使用 Higress AI 网关代理 vLLM 推理服务

    Higress 作为一款云原生 API 网关,可以完美地扮演大模型服务前置的 AI 网关角色。 /cr7258/hands-on-lab/blob/main/gateway/higress/ai-proxy/on-premises/ai-route.yaml 通过 Higress AI 网关访问 higress -n higress-system higress.io/higress --create-namespace --render-subchart-notes \ --set global.o11y.enabled Fallback 模型切换 Higress AI 网关支持 Fallback 模型切换,当请求的模型服务不可用时,可以自动切换到备用模型服务。 网关 实现服务代理、流量调度、可观测性和 Fallback 等关键能力。

    2.1K21编辑于 2025-06-12
  • 用 Tailscale Aperture 打造专属安全 AI 网关

    ⚠️ 合规提示:本文所介绍的 Aperture by Tailscale 属于个人或企业内部的私有 AI 流量鉴权与安全审计网关。 请读者严格遵守国家互联网信息安全管理规定,合规使用 AI 技术。 为了解决这个问题,Tailscale 在 2026 年推出了颠覆性的自研 AI 安全网关 —— Aperture by Tailscale。 简单来说,Aperture 是一个运行在你的虚拟局域网(Tailnet)内部的 “身份敏感型 AI 反向代理服务器”。 graph TD Client1[Cursor 客户端/小明] -->|Tailscale 安全内网连接| Aperture[Aperture AI 网关] Client2[Cline

    38210编辑于 2026-07-06
  • AI网关(AI Gateway)详解,远比你想象的要复杂

    那今天就跟大家详细介绍下AI网关,相信远比你想象中的要复杂... AI网关概述 为什么需要AI网关? 因为随着企业内部AI服务数量爆炸增长,AI调用管理正成为新的技术瓶颈。 AI Gateway,本质上可以理解成是由一个传统API网关的变种(API网关功能之上叠加了AI的场景) + LLM网关,这两部分组成。 AI网关之API网关 相比于传统的API网关,AI时代下的API网关核心在于,除了要管理路由和基于Restful或gRPC协议的API外,我们还要处理以Token为核心的流量,并且大多采用流式输出方式。 关于AI网关的API网关部分就说这么多,接下来我们进入到下一部分,来看看AI网关下的LLM网关。 AI网关之LLM网关 LM网关,顾名思义,是建立在LLM基础上的一层网关,用于连接应用层与模型层。 ---- AI网关现在已经成为现代AI应用中至关重要的一部分,并且随着AI技术的持续发展,在未来,AI网关也将会有越来越多的功能模块集成进去。 (正文完)

    91610编辑于 2026-06-17
  • 来自专栏智慧物联产品&方案

    基于AI边缘智能网关的工业质检应用

    针对产品质检需求,可以借助AI边缘智能网关的视频识别算法,实现更高效、更精准、更智能的产品质检,适应长期发展需求。 基于AI边缘智能网关的工业质检应用佰马AI边缘智能网关,针对工业生产领域的视觉识别分析应用研发,具备高性能、低功耗、环境适应性强等特点。 拥有高达 17.6 TOPS 峰值算力,支持 38 路高清视频硬件解码,和 16 路 1080P高清视频实时全流程处理分析,通过搭配多样化深度学习算法,灵活应对智能制造场景,实现边缘侧的 AI 赋能。 基于AI智能边缘网关,搭配工业摄像机实现AI视觉成品质检,能快速识别分析工业成品外观,实现对裂纹、划伤、脏污、缺损、变形、毛刺、异色等问题的分辨、记录和上报,提升质检效率,大幅降低质检过杀率与漏检率,且准确率不会随着时间降低 AI视觉质检主要依靠AI网关的边缘算力,本地数据识别处理不仅快速高效,而且无需额外通信带宽上传视频数据,节省云端算力。3、广泛适用性。

    3.7K30编辑于 2022-12-30
  • 来自专栏深度学习与python

    vivo AI计算平台 Kubernetes集群Ingress网关实践

    、运维经验,并逐步打造出稳定的基础容器平台 - AI 容器平台(VContainer)。 为了支撑公司 AI 在线业务的发展,满足公司对算力资源的高效调度管控需求,需要将在线业务,主要包括 C 端、推理等业务,由原来的虚拟机或物理机迁移至 AI 容器平台。 于是小组从 2020 年初开始,基于在线业务的需求对 AI 容器平台进行进一步建设,并将平台与公司的 CMDB、CICD 等基础模块进行打通,使在线业务能够顺利从虚拟机、物理机迁移至 AI 容器平台。 总结展望 vivo AI 计算平台 kubernetes 集群 ingress 网关目前承担了人工智能 AI 业务的大部分流量,随着业务不断容器化部署,ingress 网关需要在功能丰富性、性能、稳定性方面进一步提升 展望后续工作,我们计划在以下方面着手,进一步完善 ingress 网关。

    1.1K20发布于 2020-12-18
  • Flask AI 网关:向下三种AI供给,向上七种AI能力

    于是逐步抽象,自己设计了一个 Flask AI 网关——向下屏蔽三种供给差异,向上暴露统一能力接口。 网关的定位 直接在前端调百炼 API,两天就能跑通。 向上:暴露的多种 AI 能力 网关往下屏蔽了三种供给差异,往上面向业务场景暴露统一的能力接口。前端不调模型,调的是"能力"。 问答(Chat / RAG-QA)。最基础的能力。 AI Coding 在网关建设中的作用 网关从零到一的过程中,AI Coding 扮演的不是"替代决策"的角色,而是"决策之后的加速器"。 适配器代码生成。 全链路测试的用例覆盖由 AI 批量生成,人工只挑关键路径验证。 文档与 Onboarding。网关写好后,AI 自动生成 OpenAPI spec、各能力的调用示例、适配器扩展指南。 网关建设中的决策占比 30%、编码占比 70%,AI Coding 把 70% 压缩到原来 30% 的时间,但它碰不了那 30% 的决策。

    24310编辑于 2026-06-25
  • 来自专栏腾讯云中间件的专栏

    腾讯云原生智能网关 - AI 网关能力全解:一套网关,统一管住模型、工具和智能体

    这些问题的共同答案,是一套面向生产环境的 AI 治理基础设施,腾讯云原生智能网关 - AI 网关(以下简称 AI 网关),正是为此而生。 二、AI 网关:三类核心能力 AI 网关面向企业 AI 场景,融合 大模型网关、MCP 网关、Agent 网关 三类能力,把模型、工具、智能体统一纳入同一套治理体系中。 大模型网关:统一纳管多模型,提升调度与治理能力 AI 网关支持统一纳管主流模型服务与企业自建推理服务,帮助客户以统一标准完成接入、鉴权、路由和计量。 三、能力全景 以下为 AI 网关已落地的核心能力模块: 点击视频查看 「AI 网关接入演示」 后续将持续增强 MCP 网关、智能路由、治理与可观测、企业级运维等方向能力,进一步支撑更复杂业务场景和更高要求的生产环境 四、结语 企业 AI 的竞争,最终会落到治理能力上。AI 网关希望帮助更多企业把模型、工具和智能体真正接起来、稳定跑起来、持续管起来——从"能接入"走向"可运营、可治理、可规模化"。

    1.1K10编辑于 2026-05-07
  • 来自专栏EdgeOne边缘安全加速平台

    腾讯云 EdgeOne:Open Edge AI 网关功能介绍

    ● 目前已开放 AI 网关给开发者申请免费试用,AI 网关可实现对大语言模型(LLM )的访问进行管控,已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、 二、 AI 网关介绍 1. 功能简介 腾讯云 EdgeOne  AI 网关实现了对大语言模型( LLM)服务商访问的安全性、可见性和请求行为控制管理。 配置 AI 网关 AI 网关新建成功后,在 AI 网关列表页,单击详情或具体的 AI 网关实例 ID 进入到网关的详情页,当前支持配置缓存 ● 启用/禁用:打开开关,则启用缓存,针对相同的 Prompt 操作场景:AI 网关禁用缓存,通过 AI 网关访问 Open AI AI 网关启用缓存,再次访问 响应头 OE-Cache-Status 返回为 HIT 则说明已命中缓存。 通过 AI 网关访问其他 LLM 服务商同理可参考上述操作。 五、常见 FAQ 1. AI 网关是否收费? AI 网关当前为免费能力,您可放心使用。 2. 如何快速创建并配置 AI 网关?

    8.5K60编辑于 2024-06-19
  • 来自专栏腾讯专有云

    腾讯云原生智能网关 - AI 网关能力全解:一套网关,统一管住模型、工具和智能体

    腾讯专有云 TCS 即将推出的云原生智能网关 - AI 网关(以下简称 AI 网关),正是为此而生。 AI 网关:三类核心能力 AI 网关面向企业 AI 场景,融合大模型网关、MCP 网关、Agent 网关三类能力,把模型、工具、智能体统一纳入同一套治理体系中。 大模型网关:统一纳管多模型,提升调度与治理能力 AI 网关支持统一纳管主流模型服务与企业自建推理服务,帮助客户以统一标准完成接入、鉴权、路由和计量。 如下图所示,大模型网关提供安全防护、智能路由、可观测、智能运维、成本管理等多维度管理体系: 图1:大模型网关支持智能路由、限流熔断、配额缓存等全方位管理体系 MCP 网关:把存量系统能力,变成 AI 可调用能力 能力全景 以下为 AI 网关已落地的核心能力模块: 点击视频查看「AI 网关接入演示」 后续将持续增强 MCP 网关、智能路由、治理与可观测、企业级运维等方向能力,进一步支撑更复杂业务场景和更高要求的生产环境

    50400编辑于 2026-07-10
  • 来自专栏白话互联

    【Ai Agent】Ai Agent News | 9月11日速递

    今天是9月11日星期四,让我们一起来看看今天 Ai Agent 带来的 AI 领域的重要动态吧! ❤ Indeed Unveils AI Agents for Job Seekers and Recruiters 求职招聘领域迎来AI助手新时代 Indeed推出了两款AI Agents,分别面向求职者和招聘方 ❤ Secure AI Agents at Runtime with Docker Docker推出AI Agent运行时安全解决方案 Docker发布了关于如何在运行时保护AI Agent的新方法, 随着AI工具的强大和普及,它们也变得不可预测且易受攻击。从LLM输出中的幻觉到提示注入,AI工作流面临多重安全威胁。 AI Agent时嵌入运行时安全,为AI原生开发提供更可靠的安全保障。

    49010编辑于 2025-09-17
  • 来自专栏智慧物联产品&方案

    AI网关结合智慧路灯杆可以开发什么应用

    AI网关可以与智慧路灯杆相结合,进一步提升智慧杆的自主感知与设备本地管理能力,并开发多种智慧、高效、便捷的应用功能。 AI智能网关的功能指标1、实现视觉AI与IoT的深度融合,拥有强大边缘算力,支持对视频的编解码;2、支持HDMI输出口,提供高清视频画面输出;3、具备多路千兆WAN口和LAN口,满足高速物联数据采集、传输和分发 AI网关结合智慧路灯杆应用1、智慧杆智能监控:基于AI网关的视觉图像分析处理技术,可以识别出视频中的人脸、人体、车辆、烟火、物体、行为等,并对照预设策略实现自主抓拍、比对、智能预警、自主响应等服务,实现视频安防网络的无人化 2、智慧杆智能联动告警:AI网关可统一接入并管理杆载设备,并实现多设备的协同工作。 3、智慧杆离线自治:搭载AI智能网关的智慧杆系统,可实现离线自主管控,使用杆载AI网关计算资源执行本地数据处理、分析、分发,即使离线状态也保持正常功能运行。

    1.5K20编辑于 2022-12-26
  • 来自专栏TGLTommyAI前沿技术论文

    AI 趋势研判|2026-06-11

    今天的 AI 产业主线不是“模型又强了一点”,而是高能力模型正在被价格、责任和权限三套制度重新分层。 AI 正从单纯能力竞赛,进入“谁能把能力安全、便宜、可追责地分发出去”的阶段。 趋势研判 接下来一年,消费端 AI 会出现明显两极分化:平台公司把通用 AI 当作会员权益降价扩散,独立产品则被迫上探到专业工作流、团队协作和行业数据。 这会把一部分 AI 应用能力从 SaaS 层拉回平台层。 趋势研判 未来 3-12 个月,移动端和桌面端 AI 应用会重新评估“自建后端模型调用”与“调用系统 AI 框架”的边界。 生成代码、AI 生成包元数据和维护责任区分开,未来更多仓库会制定显式 AI contribution policy。 AI 身份与安全报告进入开发者视野 HN 今日出现 “State of AI and Identity Report” 等条目,说明身份、权限、审计和 agent 访问控制正在成为 AI 应用的基础议题

    34210编辑于 2026-06-25
  • 来自专栏喔家ArchiSelf

    AI工程的11个实践指南

    ,联合软件工程、网络安全和应用人工智能领域的专家,推出了AI工程的11项基础实践。 这里,尝试把这11条经过实战检验的AI工程指南讲清楚,从问题定位到团队搭建,从数据管理到伦理考量,搞懂这些,才能避开AI开发的那些坑,真正打造出能落地、能长久、能让人放心的AI系统。 11、伦理是AI的底线,既要融入设计,也要纳入策略 当AI系统的能力越来越强,开始渗透到国防、医疗、金融、就业等各个关键领域,甚至能做出影响人类生活、利益甚至生命的决策时,伦理问题就成了绕不开的话题。 小结:变化,是AI工程唯一的不变 卡内基梅隆大学软件工程研究所的这11项AI工程基础实践,归根到底,都是在教我们一件事:学会应对变化。 但变化并不意味着无序,这11项实践,就是为AI工程建立了一套底层的逻辑和规范:从一开始就选对问题、搭好团队,到开发过程中管好数据、选对算法、做好安全,再到上线后持续优化、接受模糊性、扛住变化,最后守住伦理的底线

    25610编辑于 2026-06-15
  • 来自专栏陶辉笔记

    AI 网关毫秒级语义路由原理与性能实测

    在 AI 网关判断一句话该送去哪个模型、要不要拦截时,端到端耗时通常在数十毫秒以内。 本文结合实际工程逻辑与测试数据,拆解 AI 网关如何实现毫秒级语义识别。 1. 视频实测与架构演示 如需直观了解性能测算过程、向量空间分类演示及多 LoRA 动态调度流程,请参阅下方视频说明: 2. 向量检索方案的局限 在 Kong AI 网关的配置中,距离度量指标支持自由切换: vectordb: dimensions: 1024 distance_metric: cosine vectordb 因此在 AI 网关的语义路由层,采用 Encoder 路线比用 Mini-LLM 更加高效准确。 4. 总结与架构拓扑 下图展示了 AI 网关端到端路由的执行路径: graph TD Client["客户端 Prompt 请求"] --> Gateway["AI 网关路由器"] Gateway

    19410编辑于 2026-08-06
  • 来自专栏又见苍岚

    网关

    在OSI中,网关有两种:一种是面向连接的网关,一种是无连接的网关。当两个子网之间有一定距离时,往往将一个网关分成两半,中间用一条链路连接起来,我们称之为半网关。 TCP/IP 网关 按照不同的分类标准,网关也有很多种。TCP/IP协议里的网关是最常用的,在这里我们通常所讲的“网关”均指TCP/IP协议下的网关。 那么网关到底是什么呢? 默认网关 如果搞清了什么是网关,默认网关也就好理解了。就好像一个房间可以有多扇门一样,一台主机可以有多个网关。 默认网关的意思是一台主机如果找不到可用的网关,就把数据包发给默认指定的网关,由这个网关来处理数据包。现在主机使用的网关,一般指的是默认网关。 为什么默认网关最后一位总是 1? 物联网智能网关 以机智云GL600(4G-Lora网关)、GM600(5G网关)为例,是指具有低延时、高稳定可靠性、能支持大量数据终端接入(最高65535)、适配AI算法、边缘计算、支持可视化动态管理

    2.2K02编辑于 2024-05-25
  • 来自专栏java开发的那点事

    Activiti7 网关(排他网关)

    什么是排他网关? 排他网关(也叫异或(XOR)网关,或叫基于数据的排他网关),用于在流程中实现决策,当流程执行到这个网关,所有分支都会判断条件是否为true,如果为true则执行该分支 注意:排他网关只会选择一个为true (即使有两个分支条件都为true,排他网关也会只选择一条分支去执行) 为什么要用排他网关? 不用排他网关也能实现分支 image.png  在连线的condition条件上设置分支条件 缺点: 如果条件都不满足,不使用排他网关,流程就结束了(异常结束) 如果使用排他网关决定分支的走向 image.png  如果从网关出去的线所有条件都不满足则系统抛出异常 org.activiti.engine.ActivitiException: No outgoing sequence flow of the exclusive

    3.5K11发布于 2020-12-01
领券