ICML 2026｜Zeus：首个多任务、免微调的时间序列基础模型

📃标题： Zeus: Towards Tuning-Free Foundation Model for Time Series Analysis

👥作者：Yisong Fu (付屹松)，Zezhi Shao (邵泽志)，Chengqing Yu (余澄庆)，Yujie Li (李雨杰)，Yongjun Xu (徐勇军)，Xueqi Cheng (程学旗)，Fei Wang (王飞)

🏫机构：中国科学院计算技术研究所智能算法安全全国重点实验室

📑论文：https://arxiv.org/abs/2607.01918

🤗模型：https://huggingface.co/GestaltCog/zeus

📦代码：https://github.com/GestaltCogTeam/Zeus

点击文末阅读原文跳转本文arXiv链接

引言

受自然语言及视觉领域基础模型浪潮的影响，深度时间序列分析领域逐渐进入了预训练时代。

Chronos、Moirai、TimeMoE、TimesFM、Timer、MOMENT……越来越多的工作开始尝试利用海量时间序列数据进行预训练，试图构建一个通用的时间序列基础模型（Time Series Foundation Models, TSFMs)。

然而，当我们回顾这些工作时，可以发现：

主流的工作将所有精力都放在了预测（Forecasting）任务上。它们通过更大的数据集、更长的上下文、更强的模型，不断刷新预测性能。但面对分类、异常检测、分类等其他重要且具有代表性的时间序列分析任务时，往往需要重新设计任务头、微调，甚至重新训练。

严格来说，这类模型更像是「预训练的预测模型」，而不是一个真正意义上的基础模型。

当然，早期的少数工作如MOMENT、Timer等也曾尝试过支持多个下游任务，希望让模型具备更加通用的能力。但如果进一步观察它们的使用方式，又会发现另一个现象：绝大多数任务依然依赖 Fine-tuning。换句话说，它们学习到的是一个可以被快速适配的表示，而不是一个可以被直接使用的表示。

于是，一个值得思考却很少被讨论的问题出现了：

如果一个时序基础模型在面对不同任务时仍然需要微调，它真的足够「基础」了吗？

在ICML 2026上，我们提出了Zeus，尝试给出这一问题的答案。与现有时间序列预训练模型主要关注预测任务不同，Zeus的目标更加激进：在不进行任务微调的情况下，同时支持点预测、概率预测、缺失值填补、异常检测和时间序列分类五大任务。

模型通向「基础」的两道门槛

在介绍Zeus之前，我们先来分析一个问题：是什么导致了现有模型难以真正支持多任务？我们定位到了两个主要矛盾。

1. 精细建模与长序列效率间的矛盾

绝大多数模型都采用Patch tokenization，将连续多个时间点压缩为一个Token，目的是提高语义密度和计算效率。这对于预测任务来说通常没有问题，因为预测更关心未来的整体变化趋势；但对于插补、异常检测等需要点级精细建模的任务，问题就出现了：多个时间点被编码为一个Token，细粒度的局部信息会不可避免地丢失。模型只能恢复Patch的整体语义，却难以准确恢复单个缺失值或定位异常点。

值得注意的是，此前MOMENT、Timer等模型在插补实验中，通常将缺失长度固定为与 Patch 长度一致，使每个缺失区域恰好对应一个完整 Patch，从而避开了 Patch 内部细粒度重建的问题。而当我们将MOMENT的patch级缺失模式替换为显然更简单的点级随机缺失时，性能反而出现了约20%的下降。

这验证了我们的观点：Patch tokenization不可避免地牺牲了点级信息的表达能力，而这正是现有基础模型难以真正支持多任务的根本原因之一。

然而，直接回到点级Tokenization也并非答案。一方面，分类、异常检测等任务需要模型理解关键模式和全局语义，而点级表示难以形成全局高层语义；另一方面，更加现实的问题是，点级Tokenization的Transformer计算开销太大，长上下文场景下几乎难以扩展。

于是，我们陷入了一个两难困境：Patch Tokenization擅长「看得远」，却「看不清细节」；Point Tokenization能「看清细节」，却难以「纵观全局」。而一个真正的时间序列基础模型，需要同时兼顾这两种能力。

2. 不同任务归纳偏置的矛盾

多任务面临一个更深层次的挑战：不同任务需要模型学习完全不同的能力。

预测的本质是外推，要求模型根据历史推断未来，学习时间演化规律；缺失值填补则更依赖内插，需要充分利用缺失点前后的上下文恢复局部连续性。异常检测和分类任务的需求则更加复杂。 点级异常要求模型对局部细微波动保持敏感，而上下文异常又要求模型理解整体模式的一致性；分类任务不仅需要从整个序列中提取稳定的全局语义表示，还需要捕捉决定类别的关键局部模式（Shapelets）。

换句话说，不同任务所依赖的归纳偏置（Inductive Bias）截然不同。

然而，现有模型通常采用单一的GPT式自回归预测（Timer）或BERT式掩码重建（MOMENT、TimesBERT）作为预训练目标：前者天然偏向外推能力，后者更擅长局部重建，却都难以同时培养模型完成预测、插补、分类和异常检测所需的多种能力。

因此，真正的挑战并不仅在于设计一个统一的模型架构，更在于如何设计一种能够同时学习多种归纳偏置的预训练范式。

Zeus：打破两难困境

为了解决上述两个挑战，我们提出了Zeus。

U型多尺度架构：既看树木，也见森林

首先，与现有模型普遍采用Patch Tokenization不同，Zeus 回归到了更加细粒度的点级Tokenization，每一个时间点对应一个Token，从表示层面完整保留时间序列的点级信息，使模型能够天然支持插补、异常检测等需要精细建模的任务。但正如前面所讨论的，点级 Tokenization本身也会带来新的问题：长序列计算开销巨大，同时缺乏高层语义表示。

为此，我们设计了一种U型多尺度Transformer架构。模型首先逐层降低时间分辨率，将局部模式不断聚合为更抽象的高层语义；随后再逐层恢复时间分辨率，将全局语义重新注入到点级表示中。整个过程形成了一条 “细粒度→粗粒度→细粒度” 的信息流，让Zeus同时兼顾点级细节感知和长距离依赖建模。

每个Transformer层均采用双向注意力的Encoder-only架构，通过一系列对称的池化和反池化操作完成尺度间的转化，最后通过跨尺度残差连接补充细粒度信息，实现局部特征重建。

Zeus通过额外引入[MASK]来兼容多任务：对于预测任务，模型预测未来部分的[MASK] token；对于插补任务，模型预测缺失位置的[MASK] token；对于异常检测任务，模型根据[MASK]位置计算异常分数；而对于分类任务，则使用隐藏层池化后的表征进行分类。

MOTM：一个框架，多种能力

仅仅改变模型结构还不足以解决第二个挑战，不同任务需要不同的归纳偏置。因此，我们进一步提出了MOTM（Multi-Objective Temporal Masking）预训练策略。与此前工作只使用单一训练目标不同，MOTM同时引入五种不同的掩码策略。在预训练过程中，不区分具体任务，而是通过不同类型时间掩码构造训练样本，使模型同时学习外推、内插、局部模式理解等多种能力。所有任务共享同一主干网络参数，并采用统一的Quantile loss函数进行训练。具体来说，MOTM包括以下掩码策略：

（1）预测掩码：对时间序列尾部连续时间段进行掩码，使模型根据历史时间信息预测未来时间变化，从而增强模型外推预测能力。

（2）点掩码：随机掩盖离散时间步，促使模型学习局部时间连续性以及短期相关性，从而提升缺失值插补能力。

（3）多块掩码：随机生成多个连续缺失片段，以模拟真实场景中的连续缺失问题，使模型具备复杂结构恢复能力。

（4）单块掩码：对单个长时间连续区间进行掩码，使模型学习全局一致性建模能力。

（5）混合掩码：组合上述掩码策略以提高样本难度。

对于一个训练样本，首先从U(0, 0.5)采样整体掩码率（期望掩码率为0.25），然后采样一种特定的掩码策略进行训练。通过大规模预训练，模型能够同时学会多种掩码策略对应的不同能力。

一个模型，五种任务，全程免微调

为了验证Zeus是否真的具备通用能力，我们在点预测、概率预测、缺失值填补、异常检测和分类五个主流时间序列分析任务上进行实验，结果令人惊喜。

在点预测任务的LTSF基准上，Zeus不仅全面超过现有时间序列基础模型，还在零样本条件下超越许多专门训练的任务模型。

在广泛使用的GIFT-Eval概率预测基准上，Zeus同时取得最佳CRPS和MASE指标。

在缺失值填补任务中，Zeus平均比最强竞争方法降低超过20%的误差，并且对随机缺失和连续缺失都表现出极强鲁棒性。

在42个UCR异常检测数据集上，Zeus在完全零样本条件下取得90.0%的平均F1 Score，不仅显著领先现有TSFM，甚至超过许多针对异常检测专门训练的监督模型。

而在26个UEA分类数据集上，Zeus学习到的表示同样展现出极强泛化能力，在平均分类准确率上达到新的最佳水平。

不只是更准，也更高效

很多基础模型提升性能的代价是更大的模型规模和更高的推理成本。而Zeus仍能保持高效。通过多尺度U形结构，大部分计算发生在低分辨率空间中，使得模型计算复杂度显著下降。与同规模的采用点级Tokenization的Time-MoE模型相比：Zeus同样能支持最大长度为4096的上下文，且推理速度提升约2.1倍，显存占用降低约3.1倍，Self-Attention计算量减少约3.8倍。这意味着Zeus不仅能够处理更长的上下文，还具备更好的实际部署价值。

总结：从「预测模型」走向「时序通用智能」

过去几年，时间序列领域的发展路径与自然语言领域存在相似性。最初研究者关注单一任务模型，随后开始探索统一架构和大规模预训练。而对于时间序列来说，真正的基础模型不应该只会预测未来，它还应该能够理解异常、补全缺失、识别类别，并在面对新任务时无需重新训练。Zeus正是朝这一方向迈出的重要一步。我们相信，未来的时间序列基础模型将不仅是预测模型，而是真正意义上的时序通用智能。而Zeus，正试图成为这一愿景的起点。