LoRA 与 DoRA 有什么区别？

1. 权重分解方式

DoRA（Weight-Decomposed Low-Rank Adaptation）由 NVIDIA 研究团队在 2024 年提出。它将预训练权重分解为"幅值"与"方向"两个分量进行微调，其中方向分量使用 LoRA 进行高效更新。

2. 学习能力与稳定性

通过这种分解，DoRA 试图更接近全参数微调的学习能力，在提升 LoRA 学习能力与训练稳定性的同时，不引入额外的推理开销。

3. 性能表现

DoRA 论文（ICML 2024 Oral）指出，在 LLaMA、LLaVA、VL-BART 等模型的常识推理、视觉指令微调、图文理解等任务上，DoRA 一致性地优于标准 LoRA。