首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >LangChain >LangChain 的 RAG(检索增强生成)能力是如何实现的?

LangChain 的 RAG(检索增强生成)能力是如何实现的?

词条归属:LangChain

1. RAG 的基本原理

RAG(Retrieval-Augmented Generation)是一种让大语言模型不局限于训练知识的架构——通过从外部知识库检索相关信息,将其作为上下文注入提示词,再让模型基于这些信息生成回答。这有效解决了模型知识过时、幻觉问题和无法访问私有数据等局限。

2. LangChain 的 RAG 完整流水线

LangChain 提供了一套完整的 RAG 实现链路,涵盖五个核心步骤:

  • 文档加载(Load):通过 DocumentLoader 从 PDF、网页、目录等多种来源加载文档,支持 PyPDFLoader、WebBaseLoader、DirectoryLoader 等数十种加载器
  • 文档切分(Split):使用 TextSplitter(推荐 RecursiveCharacterTextSplitter)将大文档递归切分为合适大小的 chunk,控制 chunk_size 和 chunk_overlap 以平衡搜索精度和上下文完整性
  • 嵌入向量化(Embed):通过 Embedding 模型将每个文本 chunk 转换为数值向量,使语义相似的内容在向量空间中距离更近。支持的 Embedding 提供商包括 OpenAI、Azure、Google Gemini、Cohere、Voyage AI 等
  • 向量存储(Store):使用 VectorStore 索引 chunk 及其嵌入向量以便高效检索。支持的向量数据库包括 Chroma、Pinecone、FAISS、Milvus、Qdrant、Weaviate 等,腾讯云也提供了向量数据库(Tencent Cloud Vector Database)作为云原生选项
  • 检索与生成(Retrieve + Generate):将用户查询转为向量,在 VectorStore 中进行相似度搜索获取相关 chunk,注入提示词后由 LLM 生成答案

3. 高级 RAG 技术

LangChain 还支持多种进阶 RAG 技术以提升回答质量:

  • Multi-Query Retrieval:用 LLM 生成多个变体查询,提高召回覆盖率
  • Ensemble Retriever:结合 BM25 关键词检索和向量语义检索的混合搜索策略
  • Contextual Compression:检索后通过 LLM 压缩和提取最相关的信息片段
  • Conversational RAG:在多轮对话中维护上下文,支持基于历史对话的追问

4. Deep Agents 中的 RAG 模式

在 Deep Agents 中,RAG 支持多种编排模式:

  • Skills-guided retrievalAgent 加载相关 skill 指导如何搜索 corpus
  • Rubric-checked grounding:审核子 Agent 评估回答是否基于检索到的材料
  • Todo-driven investigation:Agent 创建待办清单逐项调查文档
  • Retrieve, offload, and delegate:检索 chunk 写入文件系统,子 Agent 并行读取和分析
相关文章
【RAG】检索增强生成的评估·综述
RAG(Retrieval-Augmented Generation,检索增强生成)由于其复杂的结构性和对检索知识库的依赖,使得RAG系统的评估仍存在不少的挑战。为了更好地理解这些挑战和标准化RAG评估体系,我们提出了A RAG Unified Evaluation Process of RAG (Auepora)。我们对可能的输入和输出进行了整理,总结了现有RAG评估基准中的评估目标,如相关性(Relevance)、准确性(Correctness)和忠实度(Faithfulness)。同时分析了各种数据集和量化指标。最后基于当前基准测试的局限性,指出了RAG基准测试领域发展的潜在方向,为接下来的RAG评测标准提供参考。
Known User
2024-07-19
2.3K0
RAG技术:通过向量检索增强模型理解与生成能力
本文介绍了RAG(检索增强生成)技术的原理与应用,特别是如何通过向量检索系统增强生成模型对外部知识的理解和生成能力。针对大模型缺乏实时知识和生成内容易出错的问题,本文提出了一种结合向量检索与生成模型的方法,并提供了可运行的示例代码模块。
Swift社区
2025-01-28
7080
检索增强生成(RAG)的版权新关注
2025年5月与7月,亚马逊先后与《纽约时报》以及赫斯特、康泰纳仕等传媒集团达成合作,使得旗下AI产品可以实时展示《纽约时报》的摘要和片段等。1亚马逊与《纽约时报》的合作令业界颇感意外。因为《纽约时报》此前对于AI版权问题一直持强硬态度,2023年12月便以侵犯版权为由将OpenAI诉至美国纽约南区法院,也成为了全美第一家公开起诉大模型厂商的主流媒体。2
小腾资讯君
2025-08-14
6990
检索增强生成RAG的关键特性与优势
什么是检索增强生成呢?在灯塔书《知识增强大模型》一书的第四章《检索增强生成》中这样介绍“检索增强生成(Retrieval Augmented Generation,RAG)通过检索外部知识(如文档、知识图谱、数据库等)提升大模型知识的准确性、时效性及推理能力,从而缓解“幻觉”现象,解决知识老化问题。RAG 的核心理念在于通过提供可靠的知识资源,使大模型在生成答案时更加全面、可信和可靠。这类似于人类记忆的运作机制。人类的记忆往往并不精确,会随着时间的推移变得模糊;同理,大模型也无法精确地保存知识。人类通过翻阅书籍或使用搜索引擎找到可靠的知识源,验证知识的准确性;同理,RAG 也利用外部知识来补充和更新知识,解决不准确、不及时和不可靠的问题,从根本上弥合知识鸿沟。”关于检索增强生成有关的技术,涉及到向量数据库、向量检索和文本检索以及RAG本身的实战,可以阅读灯塔书《知识增强大模型》。本文则进一步探讨RAG的关键特性,深入理解,为什么大模型需要利用外部知识来解决不准确、不可靠和不及时的问题,进而实现可信人工智能。
走向未来
2025-04-21
2K0
langchain中的召回增强生成(RAG)一览
RAG是一种通过额外的、通常是私有或实时的数据来增强LLM知识的技术。LLM能够推理各种广泛的主题,但它们的知识仅限于它们训练时的公共数据,到达其特定时间节点为止。如果你想构建可以推理私人数据或在模型截止日期之后引入的数据的人工智能应用程序,你需要用特定信息增强模型的知识。将适当的信息带入并插入到模型提示中的过程被称为“检索增强生成”(RAG)。
山行AI
2023-12-12
6K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券