住院 4 天，我意识到医疗系统最大的问题不是 AI，而是“失控”

一、从一次手术说起：这不是医疗问题，而是系统问题

前段时间，我因为一次意外摔伤，接受了桡骨骨折手术。

从医学角度看，这只是一个标准化程度较高的外科手术：影像诊断、手术复位、内固定、术后观察、康复训练。路径清晰、流程规范、风险可控。

但当你真正躺在病床上，成为这个系统中的“被处理对象”时，你的体验却完全不同：

• • 你每天被抽血，但不知道检测目的
• • 你拿到检查报告，但无法理解指标含义
• • 医生查房解释病情，但信息高度压缩且专业化
• • 康复过程在推进，但你无法量化自己的恢复进度

你会逐渐意识到一个问题：

医疗系统在高效运行，但你无法理解，也无法参与。

这不是单纯的“医学知识门槛”，而是一个更深层的系统问题。

二、重新定义问题：医疗系统的“控制权缺失”

我们先把情绪抽离，用工程思维重新建模这个问题。

2.1 医疗系统的真实结构

从信息流与控制流的角度，现代医院可以抽象为三层：

决策层：医生（基于经验 + 指南 + 数据）
执行层：护理系统 + 医疗设备
记录层：HIS / EMR / LIS / PACS

患者的位置在哪里？

患者：系统外输入 / 输出对象

这是一个非常关键的结构性问题：

患者并不是系统中的“参与节点”，而只是系统处理的“对象”。

2.2 信息与控制的分离

在这个系统中：

• • 数据是完备的
• • 决策是专业的
• • 执行是规范的

但：

信息的拥有者（医生） ≠ 信息的理解者（患者）

进一步：

控制权的执行者（医生） ≠ 控制权的承受者（患者）

这导致一个典型的系统缺陷：

信息闭环存在，但用户闭环缺失

三、从 DevOps 到医疗：一个熟悉的问题

如果你有 DevOps 或复杂系统经验，这个问题并不陌生。

在早期运维体系中，也存在类似问题：

• • 系统运行状态复杂
• • 指标难以理解
• • 故障原因不透明
• • 操作风险不可控

后来我们引入了：

• • 可观测性（Observability）
• • 自动化（Automation）
• • 流水线（Pipeline）
• • 策略控制（Policy）

这些改进，本质上解决了一个问题：

让人重新获得对系统的“认知能力”和“控制能力”。

那么问题来了：

为什么医疗系统没有类似的“认知与控制重建”？

四、AI 的误解：能力问题，还是系统问题？

很多人第一反应是：

用 AI 不就可以解决了吗？

确实，从能力上看，现代大模型（LLM）已经具备：

• • 医学知识理解能力
• • 报告解读能力
• • 语言生成能力
• • 推理与总结能力

例如基于 Transformer 架构的模型，可以通过医学语料训练，具备类似“解释医生语言”的能力。

4.1 但问题不在“能不能做”

关键问题在于：

AI 可以解释，但谁对解释负责？

AI 可以推理，但谁对推理结果负责？

在医疗这种高风险场景中，问题从来不是：

AI 能不能做？

而是：

AI 是否被允许做？
AI 的行为是否可控？
AI 的决策是否可审计？

4.2 大模型的本质问题

从系统角度看，大模型具备三个特性：

1. 1. 概率性输出（Non-deterministic）
2. 2. 不可完全解释（Limited Explainability）
3. 3. 上下文依赖（Context-sensitive）

这三点，在医疗场景中是“天然风险源”。

五、关键缺失：AI 不缺能力，缺的是“Harness”

这里我们引入一个关键概念：

Harness（控制系统）

5.1 什么是 Harness？

在工程领域，Harness 的本质是：

对系统行为进行约束、调度和验证的控制层

在 CI/CD 中：

• • Pipeline 是 Harness
• • 策略引擎是 Harness
• • 回滚机制是 Harness

5.2 医疗系统中的缺口

当前医疗系统具备：

• • 强执行（手术、治疗）
• • 强知识（医生经验）

但缺乏：

一个能够约束 AI、连接患者与系统的控制层

换句话说：

医疗系统 = 执行强 + 决策强 + 控制弱

六、引入 AI Agent：但不是你想的那种

很多人理解的 AI Agent 是：

• • 聊天机器人
• • 智能助手
• • 自动问答

但在这里，我们需要的是另一种 Agent：

长期运行的、具备状态感知能力的系统级 Agent

6.1 Agent 的核心能力

一个真正可用的医疗 Agent，必须具备：

1️⃣ 状态建模能力（State Modeling）

• • 病例历史
• • 手术记录
• • 检查指标趋势

2️⃣ 解释能力（Interpretation）

• • 指标含义解释
• • 医嘱翻译
• • 风险提示

3️⃣ 推理能力（Reasoning）

• • 当前状态 vs 标准恢复路径
• • 异常检测
• • 趋势判断

4️⃣ 记忆能力（Memory）

• • 长期记忆（病例）
• • 短期上下文（住院过程）

这些能力，本质上对应的是：

LLM + Memory + Tool + State

七、为什么仅有 Agent 是危险的？

这是一个必须强调的结论：

没有控制系统的 Agent，是不可落地的。

原因很简单：

• • Agent 可以生成建议
• • 但建议可能是错误的
• • 错误在医疗中不可接受

这就引出一个核心约束：

AI ≠ 决策者
AI = 辅助理解者

八、医疗 Harness 的设计原则

如果我们要设计一个医疗控制系统（Harness），它必须满足以下条件：

8.1 权限分层

L1：信息解释（AI可自动）
L2：建议生成（需医生确认）
L3：决策执行（仅医生）

8.2 风险控制

• • 高风险操作必须人工审批
• • AI 不得直接修改医疗行为

8.3 审计机制

• • 所有 AI 输出可追溯
• • 所有建议可解释

8.4 可回退性

• • AI 参与不改变核心医疗流程
• • 可随时“降级为纯人工系统”

九、一个完整的医疗 AI 架构

结合上述内容，我们可以构建一个完整系统：

患者输入
   ↓
AI Agent（理解层）
   - 数据解释
   - 状态建模
   - 风险提示
   ↓
Harness（控制层）
   - 权限控制
   - 风险评估
   - 审计机制
   ↓
医疗系统（执行层）
   - 医生决策
   - 护理执行
   - 医疗设备

关键在于：

AI 不直接改变世界，而是在控制系统约束下“参与理解”

十、回到体验：为什么你会感到“失控”？

现在我们可以重新解释最开始的问题：

你在医院的焦虑，并不是因为：

• • 手术
• • 疼痛

而是因为：

你失去了对系统状态的认知能力

进一步：

认知缺失 → 不确定性增加 → 焦虑

AI 的价值，不是替代医生，而是：

降低不确定性

十一、这个问题的普适性：不只是医疗

这个结构问题，其实存在于所有复杂系统：

统一表达为：

系统在运行，但人无法理解

十二、未来系统的三层模型

未来的复杂系统，将统一为：

理解层（AI Agent）
控制层（Harness）
执行层（System）

医疗只是最极端的场景，因为：

• • 风险最高
• • 容错最低
• • 合规最严格

十三、结论：问题不在 AI，而在系统结构

我们可以用一句话总结全文：

医疗系统的问题，不是没有 AI，而是缺少一个“可控的 AI 接入方式”。

更进一步：

不是 AI 不够强，而是系统还没有准备好接纳 AI。

十四、下一步

在下一篇文章中，我们会继续拆解：

为什么你看不懂自己的病？医疗系统的信息结构到底哪里出了问题？

我们将从数据结构、语义表达和认知接口三个层面，进一步深入分析。

最后一句

真正改变医疗体验的，不是更聪明的 AI，而是更合理的系统。

---