多 GPU 任务如何稳定扩展：从数据并行到可观测训练的工程实践

单张 GPU 可以快速验证模型结构，但当数据量、模型规模或训练时长继续增长时，常见做法是增加 GPU 数量。真正困难的部分并不是把设备数量从 1 改成 4，而是保证多进程之间的参数更新、数据切分、检查点保存和异常退出行为保持一致。