LoRA 微调对数据质量较为敏感,高质量、与目标任务高度相关的数据集往往比单纯扩大数据量更重要。在指令微调等场景中,少量高质量样本即可获得良好效果。
训练数据需组织为与下游任务一致的输入输出格式,例如指令-回答对、文本续写样本等,确保模型在微调时学习到目标的行为模式。
在图像生成等视觉任务中,通常准备数十张清晰、角度多样的目标图片,并为其生成对应的文本描述(打标),用于训练特定风格或概念的 LoRA 模型。