思考总结 Timestral 是 Mistral 的第一组时间序列基础模型，提供最先进的概率多变量预测，仅需 209M 参数，在关键基准测试中优于更大的模型，同时支持过去和未来的协变量。该模型提供四种规模（从 5M 到 209M 参数），在准确性和效率之间取得平衡，在 CPU 上高效运行，并在多样化领域的零样本预测中表现出色。该模型结合了合成预训练、协变量感知注意力和长上下文学习，可通过 Mistral Forge 进行针对特定领域的微调选项。今天，我们发布 Timestral，这是一组我们的第一个时间序列基础模型。我们最大的模型只有 209M 参数，在该领域的三个主要公共基准 GIFT-Eval、TIME 和 fev-bench 中均排名第一，仅用三分之二的模型参数就超越了先前的最先进技术。Timestral 提供概率多变量预测，并支持仅过去和已知未来的协变量。我们的模型组位于预测准确性与模型规模的帕累托前沿，在每种规模上提供领先的性能。结果已提交至 GIFT-Eval 和 TIME 排行榜。时间序列是企业中最常见的数据类型之一，从传感器遥测到可观测性指标。基于时间序列的预测在容量规划、能源、供应链、风险和维护中驱动决策。工业工厂在生产计划上预测过程传感器，提前发现设备漂移，计划成千上万资产的容量和备件。金融团队预测流量、体量和波动性，以便在成千上万的账户中制定头寸、对冲和财务管理。经典模型如 ARIMA 和线性回归仍然是预测时间序列的成熟工具。这些模型通常仅适用于单一序列，仅从该序列的历史中学习。深度学习模型如 PatchTST 增加了跨多个相关序列学习非线性模式的能力，但它们通常还是从零开始在每个数据集上训练，因此它们所学的内容无法转移到新领域。时间序列基础模型将预训练的方法引入到时间序列中。我们的模型在大规模且多样的语料库上训练，学习可以跨系列转移的模式，能够在未见过的数据上进行零样本预测，即使在数据稀缺的领域也能如此。基准结果 我们在三个主要公共预测基准（GIFT-Eval、TIME 和 fev-bench）上评估了 Timestral。在预训练的零样本模型中，它在所有五个指标上均排名第一。这些结果来自一个检查点，没有进行集成。GIFT-Eval，在 83 个可比的预训练和零样本条目中的前十名。得分越低越好。TIME，在 35 个排行榜条目中的前十名。两个指标均越低越好。fev-bench，由 SQL 技能分数评定，在 37 个排行榜条目中的前十名。得分越高越好。针对每项规格优化的模型系列 Timestral 已被优化为四个模型家族：5M、28M、123M 和 209M 参数。较大的模型提高了预测性能，而较小的模型速度更快且成本更低。所有四种模型共享相同的架构和训练配方。每种规模均处于准确性与模型规模的帕累托前沿：对每种模型规模，没有公共模型的预测效果更好。在 GIFT-Eval、TIME 和 fev-bench 中的得分与模型规模（以 1 - 技能分数表示）。得分越低越好。我们的 28M 模型在 GIFT-Eval 和 TIME 中超过了约大四倍的 Chronos-2，而我们的 209M 模型在参数更少的情况下击败了 TimesFM-3 和 Falcon-2.0。Timestral 在推理时不需要 GPU。在标准服务器 CPU 上，使用 8 个线程，从三周的 15 分钟历史中预测一天的进行时间，5M 模型需要 10 毫秒，209M 模型则需要 140 毫秒。较小的模型为了速度牺牲了一些准确性：28M 模型比 209M 模型快五倍，而 123M 模型在其延迟的四分之三时接近 209M 的得分差 0.2%。工业示例 考虑一家拥有数千个传感器的工业工厂。Timestral 可以通过多种方式改进该数据的预测。多变量预测。泵的振动、温度和压力并不是独立变化的。其中一个的上升往往解释或引起另一个的变化。Timestral 共同建模相关系列，因此可以利用这些依赖关系，而不是单独预测每个传感器。概率预测。单个预测值可能无法呈现完整图景。Timestral 预测全套分位数，因此团队可以看到不确定性的宽度，设定反映不确定性的警报阈值，并围绕风险而非单一数字进行维护规划。分类协变量。一些协变量的值来自一组类别而非连续数字，例如星期几或机器状态（运行、闲置、维护中）。将这些编码为数字将强加顺序或比例。