首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >LoRA(低秩适配) >LoRA 的缩放因子(alpha)起什么作用?

LoRA 的缩放因子(alpha)起什么作用?

词条归属:LoRA(低秩适配)

1. 控制更新强度

缩放因子 alpha 用于调节低秩分支对最终输出的贡献比例。其作用相当于一个可手动调节的"微调强度"旋钮,取值越大,LoRA 更新对模型行为的影响越明显。

2. 与秩的关系

在常见实现中,实际缩放比例通常为 alpha 与秩 r 的比值(alpha / r)。这种设计使得在调整秩时,可通过同步调整 alpha 保持更新幅度的相对稳定。

3. 推理时的灵活调节

在图像生成等场景中,alpha 还可在推理阶段动态调节,用于在原始模型与微调效果之间做插值,实现风格强度的连续控制,而无需重新训练。

相关文章
构建AI智能体:深入浅出LoRA:低成本高效微调大模型的原理与实践
在我们的印象中,我们曾比喻大模型为一位学识渊博、通晓古今的大学者,他读过亿万本书,知识储备深不可测。但是,如果我们先想让他成为我们公司的法律顾问,或者帮我们写中医养生文案,他可能会显得博而不专。如果直接让他去背法律条文或中医典籍,做一个全参数微调,这就像让这位大学者为了一个新专业,把他过去学过的所有知识都重新梳理、更新一遍,这个过程不仅耗时耗力,也需要巨大的算力和时间,而且成本极高,甚至可能因为学习新知识而干扰到他原有的广博学识,形成灾难性遗忘。
未闻花名
2026-01-04
4.8K2
华为提出QA-LoRA:让微调大型语言模型‘轻装上阵’
近些年,大型语言模型(LLMs)表现出了强大的语言理解能力。但是,想要将这些模型应用到不同的场景,并部署到边缘设备(例如手机)上,我们还面临一个重要的问题:这些模型通常参数众多,计算负担重,如何在不损失性能的情况下让它们变得“轻量”并适应不同需求呢?
zenRRan
2023-10-09
2K0
【大模型后训练专题】 LoRA微调原理及实现
✍ 在大模型后训练这条线里,大模型的参数量往往是几十亿、上百亿。SFT / RLHF / DPO / GRPO 这些“训练流程”本身固然重要,但如果用 全参数微调(Full Fine-tuning) 去做,显存和存储压力会非常大:为了能够减少训练参数,工业界和开源社区自然发展出了各种 Parameter-Efficient Fine-Tuning(PEFT) 方法,里面最经典的两条线就是:
九年义务漏网鲨鱼
2025-11-27
3.6K0
深入理解三种PEFT方法:LoRA的低秩更新、QLoRA的4位量化与DoRA的幅度-方向分解
LLaMA、Mistral、Qwen这些大语言模型动辄数十亿参数,在自定义数据上全量微调代价极高:65B 模型光是 float16 就要消耗掉约 130GB 显存,顶配硬件跑个几天几周很正常而多数下游任务根本用不到那么多参数。
deephub
2026-02-27
1.2K0
【大模型学习 | LORA 原理&实现】
在更新过程中保留原有的参数不变为$W_0$,引入$\bigtriangledown W = BA$, 同时与输入$x$ 相乘得到:
九年义务漏网鲨鱼
2025-06-27
1.2K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券