LoRA 存在哪些局限性？

1. 与全参数微调仍有差距

尽管 LoRA 在多数任务上表现接近全参数微调，但在部分对拟合能力要求较高的任务中，仍可能存在一定的性能差距，这通常与秩的选择和任务特性有关。

2. 基础模型仍需完整加载

标准 LoRA 虽然减少了可训练参数，但基础模型本身仍需以完整精度加载，显存占用依然较高，这也是 QLoRA 等后续方法试图解决的问题。

3. 超参数需调优

秩、缩放因子、目标模块、学习率等超参数的选择会显著影响最终效果，实践中往往需要针对具体任务进行调优，存在一定的经验门槛。

4. 特定任务的表现差异

在图像生成等场景中，LoRA 在风格迁移上表现较好，但在人脸等精细特征的还原上可能不及全量微调方案，需结合具体需求权衡使用。