自治边界与"人在环中"(Human-in-the-loop)是 Agentic AI 在企业环境中可控运行的关键设计,二者共同界定"智能体自主做什么、人工介入什么"。
1. 明确自治边界
- 自治边界界定智能体可独立执行的操作,与必须提交人工审批的操作之间的分界
- 通常通过策略规则实现,如限定可用工具与 API、设置交易阈值、划定数据访问范围
- 边界应在系统上线之初即明确划定,而非事后补救
2. 人在环中机制
- 在高风险或安全关键场景(如医疗、金融、高层商业决策)保留人工审核节点
- 人的角色从"主体"转为"辅助体",负责检查输出、提示缺陷、协助完成流程
- 人在环中不是事后追加的安全措施,而是架构设计的内在组成部分
3. 分级授权
- 对高影响动作设置审批关卡,对不确定情况设置升级路径
- 根据风险等级动态调整自主程度,实现自主与控制的平衡
- 确保智能体在授权范围内运行,越界行为被及时拦截