三种方式，三种把"知识"交给大模型的路径。

很多团队第一次把大模型接到自己产品里，都会卡在同一个问题上：我到底该用 RAG、长上下文，还是微调？

这三个词经常被放在一起讨论，但它们解决的根本不是同一件事。选错过，要么多花几倍成本，要么效果怎么调都不对。

这篇文章不讲术语堆砌，只讲清楚三件事：

它们分别是什么、各自适合什么场景、以及你该按什么顺序做决定。

长上下文是 "每次把资料塞给模型看一眼"，RAG 是 "先去资料库里翻出相关片段再回答"，微调是 "直接改模型本身的行为和风格"。三者不是互斥，而是层层递进、常组合使用。

三、知识更新成本（关键差异）

01 先别急着选型，先搞清楚"模型缺什么"

一是它不知道你公司的私有资料、最新文档；二是它回答问题的格式、语气、判定方式，不一定符合你要的样子。

所有技术方案，本质上都是在补这两个短板——补"知识"，还是补"行为"。

长上下文和 RAG 补的是"知识"，微调补的是"行为"。

长上下文：每次把资料塞给模型"看一眼"。

你把相关文档整个贴进提示词，让模型在一次对话窗口里读完再回答。它没有把知识存进模型，每次调用都要重新贴一遍。适合资料量少、范围固定、一次性任务。

RAG：先去知识库"翻资料"，再让模型回答。

用户提问后，先从你的文档库里检索出最相关的几段，再把这几段交给模型生成答案。它没有改变模型本身，模型的"性格"还是原来的样子。适合资料量大、频繁更新、需要标注出处的企业知识库和客服问答。

微调：直接"训练"模型，改它的行为。

用一批标注好的问答样例继续训练模型、调整权重，让它输出格式更稳定、风格更贴合任务。但微调不是把新知识塞进模型，新知识靠微调很难更新。适合固定输出格式、分类打标、特定行业口吻这类行为一致性要求高的场景。

03 真正的差别，在"知识怎么更新"和"成本谁来扛"

这是三者最核心的区别，也是选型时真正要算账的地方。

：每次调用重新传入，零训练成本，但 token 成本随资料量线性上涨。资料一多还会"大海捞针"——长上下文中间部分的信息，模型经常会忽略掉。

：改文档后重建或增量更新索引，分钟到小时级生效，完全不碰模型。代价是要搭一套检索链路，回答质量取决于检索准不准，调优是长期活。

：重新准备数据、训练、评测、上线，周期以天到周计，最贵最重。好处是一旦训好，推理时不用带额外资料，响应最稳定。

把三者放在一起看，关键差异就四条：

：长上下文（实时）＞ RAG（分钟级）＞ 微调（天级）

：长上下文（几乎为零）＜ RAG（中等）＜ 微调（最高）

：RAG 最强（能指出引用了哪段），另外两者都弱

：临时、一次性 → 长上下文；频繁变动 → RAG；几乎不变 → 微调

误区一："上下文窗口越大越好，塞满就行。"

窗口大确实能塞更多，但资料一多，模型对中间部分的注意力会明显下降，论文里把这种现象叫"lost in the middle"。而且每次都塞全量资料，token 账单会很难看。

误区二："上了 RAG 就万事大吉。"

RAG 的效果取决于检索质量。切分不合理、向量不准、召回不到相关片段，模型再聪明也只能瞎编。RAG 不是搭个向量库就结束，切片策略、召回排序、重排模型都是要长期调的。

误区三："微调听起来高级，一上来就微。"

微调需要几百到几千条高质量标注数据，训练和评测都有门槛。如果你的问题只是"模型不知道这份资料"，微调是杀鸡用牛刀；而且资料一更新又得重训，长期成本反而更高。

05 怎么选：按这个顺序问自己三个问题

选型不是三选一，而是按问题逐层下钻。建议按下面这个顺序问自己：

第一步：资料量少、范围明确、一次性任务？

→ 先用长上下文。最简单，几行提示词就能跑，不用搭任何基础设施。

第二步：知识频繁更新、量大、要能查出处？

→ 上 RAG。把知识放在模型外部的可更新索引里，改文档不用动模型。

第三步：需要固定输出格式、特定风格、分类判定？

→ 才考虑微调。这是行为问题，不是知识问题，prompt 怎么调都不如改权重稳定。

选型不是三选一，而是按问题逐层下钻。

06 写在最后：三者不是对手，而是搭档

实际项目里，很少有团队只用其中一种。更常见的组合是：

，让模型"会办事"——格式稳定、风格对路；

，让模型"知道最新的事"——文档更新不用重训；

能用长上下文解决就别上 RAG，能用 RAG 解决就别微调。

技术选型的成熟度，往往体现在"能不动模型就不动模型"。把简单方案用到极限，再升级到复杂方案，才是最省钱、最稳的路径。

别再一上来就微调了：大模型选型的正确顺序

人工智能

架构设计

三种知识注入大模型的方式对比：长上下文（临时塞资料）、RAG（检索后回答）、微调（改变模型行为）。选型核心看知识更新速度与成本，建议先用长上下文，再上RAG，最后考虑微调，三者常组合使用，能不动模型就不动。

2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

别再一上来就微调了：大模型选型的正确顺序

别再一上来就微调了：大模型选型的正确顺序

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐