OpenClaw智能体：卸掉“框架脂粉”，让AI用“指尖”直接触摸操作系统

import pyautogui  # 跨平台屏幕控制库
import mss        # 超高速屏幕截图
import numpy as np

class ClawVision:
    def __init__(self):
        self.sct = mss.mss()
    
    def grab_region(self, x, y, width, height):
        # 抓取指定区域的原始像素矩阵（抛弃语义信息）
        monitor = {"top": y, "left": x, "width": width, "height": height}
        raw_data = self.sct.grab(monitor)
        return np.array(raw_data)  # 转为 OpenCV 可处理的 Numpy 数组

    def locate_target(self, template_path, confidence=0.8):
        # 基于模板匹配（而非 DOM ID）寻找目标位置
        # 这行代码是 OpenClaw 的“视觉锚点”——不管 UI 怎么变，只要图不变就能找到
        position = pyautogui.locateOnScreen(template_path, confidence=confidence)
        return (position.left, position.top) if position else None

import subprocess
import time

class ClawExecutor:
    @staticmethod
    def system_poke(command: str):
        """直接注入 Shell 指令，不加任何中间层校验（生产环境需配合沙箱）"""
        # 这行代码绕过了所有框架的“工具注册表”，直击 bash
        result = subprocess.run(command, shell=True, capture_output=True, text=True)
        return result.stdout if result.returncode == 0 else result.stderr

    @staticmethod
    def human_click(x, y, button='left'):
        # 模拟人类点击的“非线性”轨迹，防止被反爬虫机制检测
        pyautogui.moveTo(x, y, duration=0.2, tween=pyautogui.easeOutQuad)
        pyautogui.click(button=button)
        time.sleep(0.1)  # 模拟人类的反应间隙

    @staticmethod
    def type_like_human(text):
        # 逐字符输出，带有随机间隔（模仿人类打字的不完美）
        for char in text:
            pyautogui.write(char)
            time.sleep(0.05 + random.uniform(0, 0.02))

import random
from typing import Dict

class OpenClawBrain:
    def __init__(self, llm_client):
        self.llm = llm_client
        self.max_retries = 3  # 工程铁律：绝不无限等待

    def reflex_loop(self, goal: str):
        vision = ClawVision()
        executor = ClawExecutor()
        
        for attempt in range(self.max_retries):
            try:
                # 1. 观察：截取全屏，转 Base64 给多模态大模型
                screenshot = vision.grab_region(0, 0, 1920, 1080)
                
                # 2. 思考：大模型直接输出坐标和 Shell 指令（要求 JSON 格式）
                plan = self.llm.chat(
                    messages=[{
                        "role": "user", 
                        "content": f"目标: {goal}\n屏幕像素矩阵已提供。输出格式: {{'action':'click','x':123,'y':456}} 或 {{'action':'bash','cmd':'ls'}}"
                    }],
                    image=screenshot  # 多模态输入
                )
                
                # 3. 执行：解析 JSON，分流执行（这段极简的 if-else 就是整个架构）
                if plan['action'] == 'click':
                    executor.human_click(plan['x'], plan['y'])
                elif plan['action'] == 'bash':
                    result = executor.system_poke(plan['cmd'])
                    # 把执行结果作为“观察”追加进下一轮上下文
                    print(f"[系统反馈]: {result}")
                
                # 4. 自检：如果目标达成则 break
                if self.goal_achieved(screenshot, goal):
                    return "任务完成！"
                
            except Exception as e:
                # OpenClaw 的容错：遇到异常不崩溃，随机偏移鼠标位置重试
                print(f"捕获异常 {e}，尝试偏移重试...")
                executor.human_click(
                    x=random.randint(0, 1920), 
                    y=random.randint(0, 1080)
                )
                continue
        
        return "达到最大尝试次数，智能体已投降（Fail-Safe 触发）"

import hashlib
import json
from datetime import datetime

def log_claw_strike(action_type, payload, screen_hash):
    # 将每一次“爪子”的挥动，记录为不可篡改的 JSONL 证据
    log_entry = {
        "timestamp": datetime.utcnow().isoformat(),
        "action": action_type,
        "payload_hash": hashlib.sha256(json.dumps(payload).encode()).hexdigest(),
        "screen_backdrop_hash": screen_hash  # 记录操作前的屏幕状态哈希
    }
    # 双重保险：写入本地日志的同时，同步打点至标准输出，便于运维采集
    print(f"OPENCLAW_LOG: {json.dumps(log_entry)}")
    with open("/var/log/openclaw/audit.jsonl", "a") as f:
        f.write(json.dumps(log_entry) + "\n")