从推荐到修复的四个阶段：使用 Elastic Workflows 实现人机协同自动化

name: obs-labs-checkout-control-plane-hitl
description: 基于 OpenTelemetry 的 checkout 控制平面的人机审批关卡。
enabled: false
tags:
  - sre-control-plane
  - agent-builder
  - human-in-the-loop
  - workflows
  - opentelemetry
settings:
  timeout: "30m"
triggers:
  - type: manual
consts:
  incident_id: "obs-labs-checkout-hitl-20260719"
steps:
  - name: collect_evidence
    type: elasticsearch.search
    with:
      index: "logs-*"
      size: 10
      query:
        bool:
          filter:
            - range:
                "@timestamp":
                  gte: "now-30m"
            - term:
                "service.name": "checkout-api"
            - term:
                "attributes.incident.id": "{{ consts.incident_id }}"
            - match_phrase:
                "body.text":
                  query: "checkout failed: stale pricing cache"
  - name: rca_analysis
    type: ai.agent
    agent-id: elastic-ai-agent
    create-conversation: true
    with:
      message: |
        调查由 {{ consts.incident_id }} 标识的 checkout-api 事件。
        工作流证据查询在最近 30 分钟内找到了 {{ steps.collect_evidence.output.hits.total.value }} 个匹配的 OpenTelemetry 日志事件。
        搜索 service.name 为 checkout-api 且 incident.id 为 {{ consts.incident_id }} 的日志、链路追踪和指标。
        确定受影响的 Worker、部署版本、错误类型、HTTP 状态码和延迟证据。
        返回可能的原因、支持证据、置信度，以及以下有界模拟操作是否与证据一致。
        提议的模拟操作：模拟清除 checkout-worker-07 上的定价缓存。
        此工作流不得更改生产环境。
  - name: case_title
    type: ai.agent
    agent-id: elastic-ai-agent
    with:
      conversation_id: "{{ steps.rca_analysis.output.conversation_id }}"
      message: "为这个 checkout 事件生成一个简短的案例标题。只输出标题。"
  - name: case_description
    type: ai.agent
    agent-id: elastic-ai-agent
    with:
      conversation_id: "{{ steps.rca_analysis.output.conversation_id }}"
      message: "生成一个基于 OpenTelemetry 证据的简洁案例描述。包含事件 ID，并说明修复需要人工审批。只输出描述。"
  - name: create_case
    type: cases.createCase
    with:
      title: "{{ steps.case_title.output.message }}"
      description: "{{ steps.case_description.output.message }}"
      owner: "observability"
      severity: "medium"
      tags:
        - sre-control-plane
        - agent-builder
        - human-in-the-loop
        - opentelemetry
  - name: add_agent_analysis
    type: cases.addComment
    with:
      case_id: "{{ steps.create_case.output.case.id }}"
      comment: |
        ## Agent Builder RCA 及提议操作
        证据查询匹配数：{{ steps.collect_evidence.output.hits.total.value }}
        {{ steps.rca_analysis.output.message }}
        提议的模拟操作：模拟清除 checkout-worker-07 上的定价缓存。
        尚未执行任何操作。
        Agent 对话：{{ kibanaUrl }}/app/agent_builder/conversations/{{ steps.rca_analysis.output.conversation_id }}
  - name: review
    type: waitForInput
    with:
      message: |
        批准有界的 checkout 响应？
        事件：{{ consts.incident_id }}
        证据：{{ steps.collect_evidence.output.hits.total.value }} 条匹配的 checkout 失败日志（最近 30 分钟内）。
        目标：checkout-worker-07
        操作：仅在此 Worker 上模拟清除定价缓存。
        预期效果：后续 checkout 请求不再使用过时缓存。
        影响范围：一个 Worker。此模拟步骤不会更改生产环境。
        在决策前，请审查案例 {{ steps.create_case.output.case.id }} 中的 Agent Builder 分析。
      schema:
        type: object
        properties:
          approved:
            type: boolean
            title: "批准模拟缓存清除"
          notes:
            type: string
            title: "审查者备注"
        required:
          - approved
  - name: approved_action
    type: console
    if: "steps.review.output.approved : true"
    with:
      message: "已批准。已为 checkout-worker-07 记录模拟缓存清除。审查者备注：{{ steps.review.output.notes }}"
  - name: verify_after_approval
    type: elasticsearch.search
    if: "steps.review.output.approved : true"
    with:
      index: "logs-*"
      size: 0
      query:
        bool:
          filter:
            - range:
                "@timestamp":
                  gte: "now-5m"
            - term:
                "service.name": "checkout-api"
            - term:
                "attributes.incident.id": "{{ consts.incident_id }}"
            - match_phrase:
                "body.text":
                  query: "checkout failed: stale pricing cache"
  - name: record_approved
    type: cases.addComment
    if: "steps.review.output.approved : true"
    with:
      case_id: "{{ steps.create_case.output.case.id }}"
      comment: |
        ## 人工决策：已批准
        审查者备注：{{ steps.review.output.notes }}
        模拟操作目标：checkout-worker-07
        最近 5 分钟内的验证查询匹配数：{{ steps.verify_after_approval.output.hits.total.value }}
        此演练未更改生产环境。
  - name: record_declined
    type: cases.addComment
    if: "steps.review.output.approved : false"
    with:
      case_id: "{{ steps.create_case.output.case.id }}"
      comment: |
        ## 人工决策：已拒绝
        审查者备注：{{ steps.review.output.notes }}
        未执行任何操作。
  - name: declined_console
    type: console
    if: "steps.review.output.approved : false"
    with:
      message: "已拒绝。未执行任何操作。审查者备注：{{ steps.review.output.notes }}"

  - name: clear_pricing_cache
    type: http
    connector-id: "checkout-remediation-api"
    if: "steps.review.output.approved : true"
    with:
      path: "/v1/cache/pricing/purge"
      method: "POST"
      body:
        worker: "checkout-worker-07"
        incident_id: "{{ consts.incident_id }}"

  - name: notify_oncall
    type: slack
    connector-id: "sre-oncall-channel"
    if: "steps.review.output.approved : true"
    with:
      message: "由 {{ steps.review.output.notes }} 批准：已为 {{ consts.incident_id }} 清除 checkout-worker-07 上的定价缓存。"