太长不看: 最近看到一篇来自香港大学的论文 AI-Trader, 用真实环境评测各个 LLM 在股市中的表现, minimax 超过 deepseek 堪称股神.
下面是论文的详细解读
一句话:本论文构建了全球首个全自主、实时、无数据污染的 LLM 智能体金融交易基准 —— AI-Trader,跨越美股、A股、加密货币三大市场,系统揭示了"通用智能 ≠ 交易能力"这一核心发现。
🎓 学术价值:填补了 LLM Agent 评测体系中"真实动态金融环境"这一关键空白。现有基准大多依赖静态历史数据或模拟环境,无法真实反映智能体在市场压力下的实时决策能力。AI-Trader 率先实现了"活体评测"——Agent 在真实市场中用真实时间做真实决策。
🏭 工业价值:为金融机构评估"哪款大模型更适合做量化策略"提供了客观的多维基准。同时,代码与评测数据开源,使研究者可以在真实市场条件下测试自研策略,而无需从零搭建交易环境。
💡 直觉类比:这篇论文就像是给六位来自不同背景的"实习交易员"(大模型)安排了同一岗位的"实习考核"——只给他们一台电脑和基本的交易工具,不提供任何指导,让他们在真实股市里自己搜集信息、独立决策、真金白银地买卖,最后看谁赚钱最多、谁亏损最惨,从中找规律。

核心概念讲解:
LLM Agent(大语言模型智能体) ⭐⭐
ReAct 推理范式 ⭐⭐
Sortino Ratio(索提诺比率) ⭐⭐
MCP 协议(Model Context Protocol) ⭐
现有评测体系的三大痛点:
维度 | 传统静态基准(SWE-Bench、MMLU等) | AI-Trader |
|---|---|---|
数据新鲜度 | 固定历史数据集,存在污染风险 | 实时市场数据,无法预先泄露 |
环境动态性 | 确定性环境,无真实不确定性 | 真实市场波动、政策冲击、黑天鹅事件 |
人工介入 | 依赖固定 Prompt 和预设流程 | 零人工干预,Agent 完全自主 |
评测指标 | 准确率/F1等离散指标 | 真实金融收益,客观且连续 |
跨域能力 | 单一场景 | 跨三大市场、两种频率 |
金融市场天然具备"好的 Agent 测试场"所需的所有特质: 动态演化、信息噪声高、决策时效性强、结果可量化。且市场不会"配合"Agent——它是无情的真实世界。

最小信息范式(Minimal Information Paradigm) 是本文最关键的设计哲学:Agent 仅获得三样东西——可用工具列表、当前持仓状态、实时市场价格,其他一切信息必须自己通过工具获取。这彻底杜绝了"外挂信息"的可能性,确保评测的是 Agent 的真实自主能力。
观测空间:Agent 在每个时间步的完整感知为:
其中 是资产实时价格向量, 是持仓状态向量, 是通过工具主动获取的个股详细数据, 是宏观信息(新闻、经济指标等)。
白话解释:Agent 先看到"手里有什么股票、各自现价多少",然后自己去查自己想查的信息,最终形成完整的"市场视野"。
行动空间:对每个可交易资产,Agent 只能执行三种离散操作:
at ∈ { 买入(Buy), 卖出(Sell), 持有(Hold) }
若提交的订单超过可用流动资金,系统拒绝执行并触发自我纠错——Agent 必须重新推理并生成合规订单。这模拟了真实交易中的资金约束。
关键评估指标:
指标 | 公式 | 白话含义 |
|---|---|---|
累计收益 CR | 整个评测期总共赚了多少 | |
索提诺比率 SR | 每承担一单位下行风险,获得多少超额回报 | |
波动率 Vol | 收益的稳定性(越低越好) | |
最大回撤 MDD | 从最高点跌到最低点有多惨 |
评测周期:美股 & A股:2025年10月1日—11月7日;加密:2025年11月1日—11月14日。
六大模型:DeepSeek-v3.1、MiniMax-M2、Claude-3.7-Sonnet、GPT-5、Qwen3-Max、Gemini-2.5-Flash。
市场 | 指标 | DeepSeek | MiniMax | Claude | GPT-5 | Qwen3 | Gemini | 基准 |
|---|---|---|---|---|---|---|---|---|
美股 | CR ↑ | 8.39% | 9.56% | 3.11% | 1.56% | 0.39% | -0.06% | 1.87% |
SR ↑ | 3.73 | 4.42 | 1.13 | 0.70 | 0.32 | 0.09 | 1.51 | |
MDD ↓ | -8.58% | -4.92% | -8.13% | -10.55% | -9.39% | -7.73% | -3.94% | |
A股 | CR ↑ | -1.23% | 1.31% | 0.84% | -3.53% | -3.86% | -1.53% | 1.65% |
SR ↑ | -0.18 | 1.00 | 0.29 | -1.54 | -1.40 | -0.29 | 2.19 | |
MDD ↓ | -5.88% | -2.15% | -4.49% | -3.78% | -5.49% | -4.81% | -2.01% | |
加密 | CR ↑ | -12.18% | -14.80% | -15.30% | -16.41% | -16.85% | -18.63% | -14.30% |
SR ↑ | -2.85 | -4.30 | -2.27* | -4.38 | -6.54 | -5.55 | -12.71 |
*加密市场整体处于下跌周期,所有 Agent 均亏损,但部分优于基准。SR最优由Claude持有(-2.27),CR最优由DeepSeek持有(-12.18%,唯一跑赢基准-14.30%)。
① 通用智能 ≠ 有效交易GPT-5、Qwen3-Max 在 NLP 任务上表现顶尖,但在两个股市均录得负收益。智能体在受控任务中表现优秀,并不代表能在嘈杂、动态的真实市场中盈利。
② 风控能力决定跨市场鲁棒性MiniMax-M2 是唯一在美股和 A 股双双表现稳定的模型。其优势不来自激进追涨,而是来自下行风险控制——美股最小回撤仅 -4.92%,A 股波动率最低(6.72%)。
③ 高流动性市场更利于 AI 超额收益在美股(成熟、透明、连续交易),三个 Agent 跑赢 QQQ 基准;但在 A 股(政策驱动、情绪主导),无一 Agent 跑赢 SSE-50。结论:当前 AI 更擅长在信息透明、机制稳定的市场中寻找 alpha。
④ 单市场优化无法跨市场迁移DeepSeek 在美股(+8.39%)表现亮眼,但在 A 股录得 -1.23%;而在加密市场中凭借高仓位现金管理(现金占比峰值约41%)反而成为唯一跑赢基准的模型。说明当前模型缺乏真正的跨市场泛化能力。
学术界:
工业界:
评测周期过短:美股和 A 股仅评测约5周(38个交易日),加密仅两周。金融策略的有效性通常需要跨越多个市场周期(牛熊转换)才能验证。本文的评测恰逢美股上涨期和加密下跌期,这一特定市场环境可能系统性地偏袒某类策略(如 MiniMax-M2 的防御风格在美股上涨期自然表现出色)。
"最小信息"设计的双刃剑:让 Agent 从零开始搜集信息,是真实模拟,但也引入了"工具调用效率"这一干扰变量。擅长高效搜索的模型可能比"思维更深邃"的模型表现更好,评测的究竟是推理能力还是信息检索效率?
基准选择的局限:以 QQQ(大盘 ETF)作为 baseline 是合理的,但没有对比传统量化策略(如均值回归、动量策略),也没有对比更简单的"等权持有所有成分股"策略,难以判断 AI 是否真的带来了方法论上的价值。
仅六个模型:选取的六个模型(DeepSeek、MiniMax、Claude、GPT-5、Qwen3、Gemini)版本选择时间点不同,且 GPT-5 和 Claude-3.7 处于不同的代际——这不是真正的同期公平对比,更像是"近期最强模型大乱斗"。
Prompt 设计的影响:论文展示了统一的系统 Prompt,但不同模型对相同指令的理解和响应方式存在显著差异。Prompt 工程本身可能比模型本身的差异更影响结果,这是一个未受控的变量。
单次运行无置信区间:金融市场本身具有随机性,同一策略不同时间运行结果可能差异巨大。论文未报告多次运行的方差,也未做统计显著性检验,难以判断结果是否稳健。
真实资金规模问题:本实验显然是小规模虚拟资金测试。一旦 Agent 管理大额资金,其自身交易行为会显著影响市场价格(市场冲击),当前框架完全没有考虑这一现实约束。
监管合规盲区:Agent 的完全自主决策在许多司法管辖区涉及合规问题(如 MiFID II 要求人类监督)。论文将这个问题完全忽略,但对工业落地至关重要。
对极端事件的脆弱性:Case Study 显示 Agent 会被单一新闻源误导("结构性慢牛"案例),在信息对抗(fake news、市场操纵)场景下,当前 Agent 的鲁棒性存疑。
作者提出的方向:
我们认为还可以从以下角度改进: