能过,而且本来就不该要求产品懂云原生。评审里产品该回答的是业务问题:SLA 要求多少、峰值什么形态、数据能不能丢、多快要上线,把这些翻译成技术语言是架构师的活。真出问题的场景通常是反过来的:架构师拿一堆多活、服务网格的术语把产品绕晕,最后为了架构先进性上了远超业务需要的复杂度,成本翻倍还难维护。我的做法是评审分两层开:业务评审拉产品,只对齐容量、可用性、合规这些需求;技术评审只拉研发,讨论选型和取舍。产品不需要看懂 K8s 拓扑图,但要说清楚支付链路故障五分钟能不能接受这类问题。如果产品连业务 SLA 都说不清,那不是不懂云原生,是需求没做完,退回去补需求,而不是卡架构评审。
能降,但降的是人力成本不是资源成本,这个区分要先搞清楚。编排本身的资源开销(控制面、副本数、存储)跟谁写配置没关系,模型帮不上忙。它真正的价值在三个地方:把一份自然语言需求直接生成 Helm chart 或 K8s manifest 初稿,省掉从模板改起的时间;读 Prometheus 或云监控的告警日志给出初步定位,缩短排障时间;大版本升级时帮你生成迁移清单和回滚脚本。实践里比较稳的用法是模型出初稿、人工评审后落盘,直接让模型无人值守改线上编排是在赌运气。所以账要这么算:团队每天在编排配置上花几小时,接 AI 辅助是划算的;编排早就模板化稳定运行,收益就很有限,别为了降成本反而引入新的维护面。
先分清是本地私有化还是直接调 API。私有化部署 Kimi 开源版主要卡显存:百亿级参数 FP16 加载一般要 40G 以上显存,单卡不够就用 vLLM 或 SGLang 做多卡张量并行,两个框架对 Moonshot 系架构支持都比较成熟。步骤大致是:从 HuggingFace 或 ModelScope 拉权重,起 vLLM 时指定 tensor-parallel-size 为实际卡数,然后按 OpenAI 兼容接口暴露服务,业务侧基本不用改代码。没有强私有化需求就直接走 Kimi 官方 API,自建的成本大头是 GPU 而不是模型。想省成本跑量化版的话,GPTQ 或 AWQ 量化后单张 24G 卡也能跑,但精度有折损,先拿自己业务的真实 case 回归测一遍再定。
国内这块今年选择不少。全栈应用生成类:腾讯 CodeBuddy、阿里通义灵码独立版、字节 Trae,都内置 Agent,能从需求一路生成到部署;低代码加 AI 类:腾讯微搭、秒哒,适合不写代码先出原型;偏工程化的:CodeBuddy 的 Craft 模式和 Trae 的 Builder 模式对真实项目结构支持更好,能读现有仓库而不是只从零生成。选型别只看 demo 炫不炫,重点试三件事:能不能接你自己的私有仓库、生成的代码是拆好了模块还是一大坨单文件、出错后能不能定位到具体文件让你手工修。很多平台演示惊艳,真实项目一接就露馅,拿一个你自己熟悉的中小项目实测最靠谱。
这大概率是连接器被正在运行的会话或自动化任务占用了。自定义 MCP Server 连接器一旦有活跃连接(比如某个智能体会话还挂着,或有定时任务在引用它),控制台会把删除按钮置灰,或删掉后自动恢复。处理思路:先把引用这个连接器的智能体和应用停掉,确认没有进行中的会话,再刷新控制台重试删除;如果还是删不掉,看下是不是通过客户端工具注册的,注册方那边得先解绑,服务端才能真正移除。实在不行就导出配置后重建实例,比反复点删除按钮快。另外自定义连接器删除是不可逆的,动手前把 endpoint 地址和鉴权信息存一份,免得下次重建要重新对接调试。
大多数企业不需要自建。Claude Code、Codex、Cursor 这类工具的迭代速度远超内部团队,造一个同水平的产品没有性价比。企业真正该做的是在这类工具外面包一层:统一的模型网关管配额、审计和密钥;内部代码库和文档的知识接入,用 RAG 或 MCP server 喂给工具;再加安全策略,敏感仓库权限控制和生成代码的合规扫描。有自建冲动的通常是两种场景:合规要求代码不出域,或者业务领域太垂直导致通用工具效果差。前者可以用开源模型私有化部署加开源 Agent 框架,后者优先做提示词和上下文工程,而不是造 IDE。工具买,知识自建,这是更划算的分工。
防线数量不重要,关键是每层职责清晰且互相独立。退款链路的核心风险是重复退款和超额退款,五道防线合理的切法:入口幂等(请求去重键)、额度校验(余额与订单可退金额)、规则引擎(风控拦截异常模式)、人工审批(大额或异常单)、事后对账(T+1 与支付渠道核对)。防线之间必须独立生效,不能共享同一条判断逻辑,否则一错全错。最容易被穿透的是对账层做成了事后报警而不是自动冻结,发现异常应该先停额度再人工介入。内部员工触发的退款属于高风险场景,建议再加操作留痕和双人复核,这比堆第八道防线有用。
典型的监控盲区:节点健康只代表进程活着,不代表业务语义完成。常见三种情况:一是任务依赖外部资源,比如下游接口、消息确认、文件句柄,节点指标看不到这些;二是队列里有重试或死信,消费方处理失败但没上报失败指标;三是心跳和实际进度脱节,任务卡在长事务里,CPU 内存看起来都正常。排查思路是把完成拆成可观测的信号——任务状态机每次转移都打点,成功、失败、超时分开计数,再加个定时对账任务比对输入输出数量。监控要盯业务完成率而不是节点存活率,告警挂在 SLA 上而不是 CPU 上,这是这类问题的根治办法。
记住你不等于能替你操作,这是两个层面的事。记忆解决的是个性化,支付和敏感操作靠的是授权链:Agent 拿到明确意图、通过身份校验、且操作在预授权范围内才执行。退票这种不可逆动作,业内通行做法是二次确认加支付验证,模型记忆最多用来预填表单,不能跳过鉴权。真要让 Agent 自动下单,得有独立的风控通道——操作白名单、金额上限、异常行为审计,出了问题能分清是用户指令还是模型误判。把记忆当权限用是设计事故,架构上这两套必须隔离,模型侧只管意图和上下文,交易侧按普通客户端做完整的安全校验。
自建 GitLab 用云主机部署即可,CI Runner 装在另一台 CVM 上配 docker executor,构建产物推 COS 再触发部署。CLS 不用自己接 agent,K8s 场景直接装 CLS 容器采集组件,stdout 日志自动入 CLS,配好索引和仪表盘就能查错误率。关键是把流水线分三段:构建(Maven/npm 加单测门禁)、部署(TKE 发布,大项目加人工审批卡点)、验证(发布后自动探测核心接口)。GitLab webhook 想直接触发云函数或 TCR 镜像构建也行,但维护成本比原生 Runner 高,除非有特殊集成需求。建议先跑通一条最简流水线覆盖主服务,再逐步加多环境、审批和告警,别一上来就堆平台工程。
硬要选,本体建模更难。制度问题改组织架构、定KPI能推得动;本体建模要既懂业务语义又能抽象成知识图谱,这种人内部极度稀缺。但最大的卡点其实是数据没准备好——脏数据喂进去,本体再漂亮也白搭。
大部分团队的降级链就一层:LLM挂了返回「服务异常」。这等于没降级。真正的降级应该多级:主模型->备用模型->缓存答案->规则兜底->友好提示。每一层都要日常演练,不然真挂了不敢切。
差远了。GPU只是硬件,模型版本管理、Prompt灰度、Token限流、Latency监控、幻觉检测、回滚策略这些才是LLMOps的日常工作。配完卡以为万事大吉,上线后才会发现 inference 只是第一道坎。