四、LLMWiki:把碎片文档整理成“可学习、可维护的知识页面”4.1LLMWiki是什么? 4.2LLMWiki与普通RAG的核心差异普通RAG更像是“搜索原文片段”;LLMWiki更像是“搜索整理后的知识卡片”。举个例子。 4.3LLMWiki的优势1.更适合初学者学习LLMWiki的页面通常比原始文档更清晰,因为它已经经过总结、归纳和重组。 →用来回答问题4.4LLMWiki的缺点1.构建成本更高LLMWiki在入库前要调用大模型生成页面,成本和耗时都高于普通RAG。 6.3LLMWiki会怎么做?
代表性方案包括LLMWiki、GBrain等。这次变迁改变的是知识的存在形态:从存原材料,到存编译后的知识。 RAG对两者都只能存原始切片,LLMWiki会把两者都"编译":经验性知识被转化为可执行的策略步骤,事实性知识被组织成有交叉引用的结构化网络。 LLMWiki是编译一次,持续维护,知识随时间复利。这就像编程中"解释执行"和"编译执行"的区别。RAG每次都重新"解释"原始文档,LLMWiki把知识"编译"成结构化网络,然后在此基础上高效查询。 LLMWiki生态的几种工程化方案Karpathy的LLMWiki本身只是一个Markdown文件,一篇思想实验。社区在此基础上做了多种工程化实现:1、Obsidian-Wiki。 LLMWiki用wikilink做交叉引用,只能表达"页面A提到了页面B",无法表达"A投资了B"或"C在D公司工作"这类语义关系。
Karpathy的LLMWiki:让LLM帮你维护一套个人Wiki最近Karpathy发了一份gist,标题就叫LLMWiki。 PDF、网页、笔记问一个问题让模型临时检索相关片段再在当前会话里拼答案这条路能用,但也有几个明显问题:每次都要从头翻资料模型每次都要重新拼接上下文上次问过的问题不会沉淀下来文档之间的关系也不会自己长出来LLMWiki 这跟传统RAG的差别也就出来了:RAG每次问问题都重新找片段LLMWiki先把知识整理成稳定页面,再在这些页面上继续问换句话说,它把“当场拼答案”改成了“先把知识库存起来,再在库上工作”。
前段时间AndrejKarpathy开源了一个他的本地知识库管理方法LLMwiki广受好评,只靠一个文档就获得了Github5kstar。 传统知识库用RAG模式每次提问AI都在重头找片段拼凑,而LLMWiki模式主张让AI承担将新知识提炼并“编译”成结构化、带双向链接的维基图谱,实现知识的真正复利与累积。 选择之后直接和它说,让它去学习llmwiki这个教程帮我们搭建好文件的目录结构。 知识库核心逻辑在这里我们了解下这个知识库的核心逻辑:根据Karpathy的理念,一个成熟的LLMWiki系统由三个核心数据层和两个辅助文件构成。
它的核心价值包括:基于LangChain的AI对话能力支持RAG/LLMWiki两套知识检索模式支持工具系统与技能系统支持多轮上下文和长期记忆支持流式输出支持ReAct和Plan+Exec双执行模式支持文件上传 而AI-Agent-Node的RAG/LLMWiki能力,可以让系统优先从企业知识中找答案,而不是完全依赖大模型自由发挥。
扩展了Karpathy的LLMWiki模式,支持MCP协议,兼容所有主流AI编程工具。