缩放因子 alpha 用于调节低秩分支对最终输出的贡献比例。其作用相当于一个可手动调节的"微调强度"旋钮,取值越大,LoRA 更新对模型行为的影响越明显。
在常见实现中,实际缩放比例通常为 alpha 与秩 r 的比值(alpha / r)。这种设计使得在调整秩时,可通过同步调整 alpha 保持更新幅度的相对稳定。
在图像生成等场景中,alpha 还可在推理阶段动态调节,用于在原始模型与微调效果之间做插值,实现风格强度的连续控制,而无需重新训练。