首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >同样的 260 章,上下文开销差约一个量级:结构化台账怎么把"线性增长"压成"常量级"

同样的 260 章,上下文开销差约一个量级:结构化台账怎么把"线性增长"压成"常量级"

原创
作者头像
用户12865354
修改于 2026-11-20 10:57:12
修改于 2026-11-20 10:57:12
1830
举报
文章被收录于专栏:写作智能体写作智能体

长篇写作的上下文开销通常随章数线性增长。我们把人物、事实、伏笔、章节摘要拆成四本结构化台账,按当前环节取用,实测单章请求稳定在 6–7 万字符、不随章数增长。本文公开测试条件、判据、对比数据、两处失败与适用边界。

一、长篇小说的成本不在"写",在"记"

用对话框连续写长篇,输入侧的开销是累加的:

  • 写第 1 章,输入 ≈ 设定 + 要求
  • 写第 50 章,输入 ≈ 设定 + 要求 + 前 49 章正文
  • 写第 260 章,输入 ≈ 设定 + 要求 + 前 259 章正文

一个 260 章、单章 2400–3000 字的作品,正文总量约 62 万–78 万字。如果按"把前文全带上"的做法,第 260 章的输入规模就是几十万字符级别——这不是"能不能塞进去"的问题,是三个更现实的问题:

隐性成本

具体表现

后果

窗口撞顶

前文一旦超过窗口,必须截断或摘要压缩

截断处就是记忆丢失处

注意力稀释

窗口塞得下,但早期内容权重被摊薄

"看得见,但顾不上"

延迟与失败率

输入越长,首 token 延迟越长、超时概率越高

长文本请求偶发 5xx

我们内部有一句话,是在两部实验稿里被反复验证的:

"长篇写作的难点,从来不是写出一段好文字,而是二十万字之后,还记不记得前面写过什么。"

这句话的工程含义是:上下文不是记忆。上下文是"这一次请求能看见的东西",记忆是"程序随时能取出来的东西"。二者混为一谈,就必然写成"把整本书塞进去"。

二、方案:把"记忆"从上下文里搬进四本台账

2.1 四本台账的分工

台账

存什么

写入时机

读取时机

单次取用量级

人物库

角色性格、关系、能力边界、别名

人物种子环节建档,定稿时增量更新

本章涉及的角色出场前

数百至数千字符

事实台账

世界观、设定、既定剧情事实

定稿时按"新增事实"追加

涉及设定引用、数值、时间线时

数百至数千字符

伏笔台账

伏笔埋在哪章、形态、回收状态

章节框架环节预登记,定稿时更新状态

章节框架、审查两个环节

数百字符

章节摘要台账

每章固定字段摘要

定稿入库时由程序截取写入

需要前情时按章号或人物检索

每章百字级,只取命中条目

关键点不在"存了什么",在"什么时候取、取多少"。 四本台账如果每次全量注入,等于把线性增长换了个地方发生。

2.2 取用策略:按环节检索,而不是全量注入

代码语言:javascript
复制
def build_context(stage, chapter_no, plan):
    ctx = [anchor_block(plan)]              # 常驻:文风/人设/主线/伏笔四类锚点
    ctx += rules_for(stage)                 # 常驻:当前环节对应的规则卡(分层加载)
    ctx += plan.slice(chapter_no)           # 本章框架、本场戏眼
    if stage in ("OUTLINE", "REVIEW"):
        ctx += ledger("foreshadow").query(chapter_no, window=30)
    for p in plan.characters_in(chapter_no):
        ctx += ledger("character").get(p.id)          # 只取本章出场的人
    for k in plan.facts_referenced(chapter_no):
        ctx += ledger("fact").get(k)                  # 只取本章引用的设定
    ctx += ledger("summary").last(N)                  # 只取最近 N 章摘要
    return ctx                                       # 体积上限由预算裁剪,不随章数增长

三个设计决定:

  1. 检索键是确定性的(章号、人物 ID、事实键),不是语义相似度。写第 137 章要取哪几个人的卡,是程序按本章框架算出来的,不问模型"你觉得需要什么"。
  2. 注入有预算上限。超预算时先裁摘要、再裁事实,锚点与规则卡不裁。
  3. 写回是单向的。定稿入库时才写台账,初稿过程中的临时内容不写,避免把废稿写进长期记忆。

2.3 和 RAG 的区别在哪

维度

通用 RAG

结构化台账

检索方式

向量相似度,取 top-k

确定性键 + 章节窗口

召回性质

可能召回"意思相近但事实不同"的段落

召回的是唯一事实条目

可解释性

差(为什么召回到这段说不清)

强(取的是哪一行的哪一条,可打印)

适用

非结构化知识、问答

有主键、有状态、要精确一致的长篇设定

短板

相似≠正确

需要先设计 schema,前期成本高

结论:长篇写作更怕"召回错了",而不是"召回少了"。 一个"父亲已死"的事实被语义召回成"父亲的旧部"段落,写出来的就是硬伤。

三、实测条件与判据

3.1 测试条件

项

值

测试时间

2026 年 9 月 – 2026 年 10 月

作品类型

中文男频长篇(单一题材,未换线)

模型

DeepSeek V4.1 Flash(全流程同一模型)

单章目标字数

2400–5000 字

目标章数

260 章(单部作品连续推进)

推进方式

每环节等待确认,跨卷由系统自动拉起

统计口径

每次请求记录 prompt 字符数、章节号、环节

3.2 判据:什么算"上下文机制失败"

  1. 开销回退:第 100 章之后的单章输入体积,比第 10 章高出 50% 以上;
  2. 记忆缺失:本章需要的人物/事实条目未被注入,导致产出与台账冲突;
  3. 重复注入:同一条目在一次请求里出现两次以上(说明裁剪逻辑失效);
  4. 写回丢失:定稿成功但台账未落库,下一章取不到。

只有 1 出现,才判"记忆机制失效";2 单独出现记为"检索配置错误",不计入机制失效。

四、数据

指标

线性基线(算术推演)

实测

说明

第 10 章单章输入

约 2.6 万字符

6–7 万字符

常量部分(锚点+规则卡)占大头

第 260 章单章输入

约 67 万字符

6–7 万字符

★与第 10 章基本持平

增长斜率

线性

≈ 0

不随章数增长

260 章总量

—

70 多万字

单部作品

返修率

—

约 8%

主要为薄章与场景重复

记忆缺失次数

—

0(触发审查拦截后返修)

台账比对生效

关于"线性基线"这一列的说明:它不是我们跑出来的对照组,而是按"把前文全带上"的写法做的算术推演(章数 × 单章字数),列出来只是为了把量级差异说清楚。真实环境里这种做法早在窗口撞顶时就断了,跑不到第 260 章。

最值得看的一行是第二行:如果做到第 260 章时单章输入还在 6–7 万字符,说明"线性增长"确实被改成了"常量级";如果它涨到了几十万,那四本台账就只是个更花哨的提示词。

五、失败案例

案例 1:摘要由模型自己压缩,误差在第 40 章后累积

现象:早期版本的章节摘要让模型"用 100 字概括本章",写到 40 多章后,后文开始引用被摘要压掉的细节,出现"人物做了前文没做过的事"。

原因:摘要是有损压缩,且每一章的摘要会作为下一章摘要的输入之一,误差会链式累积。摘要写得越"凝练",丢的事实越多。

处理:摘要改为程序按固定字段截取(本章出场人物、发生地点、新增事实、埋设/回收的伏笔、结尾状态),不允许模型自由改写。代价:摘要可读性下降,人工回看时要多读两行。

案例 2:别名没进人物库,同一角色被当成两个人

现象:某角色在第 12 章以"三叔"出现,第 30 章以本名"陈三"出现,人物库按本名建档,第 31 章的框架环节把他当成新角色,重新分配了性格设定。

原因:人物库主键只有正式姓名,没有别名表;而中文长篇里称谓变化是常态(排行、职务、绰号、化名)。

处理:人物库增加别名数组,写入时强制要求"本章出现的所有称谓"回填;框架环节做一次别名冲突检测。代价:人物种子环节的人工工作量增加约一成。

案例 3:早期本地部署直接撞上上下文上限

背景:最早的本地版本还是"把前文往对话框里塞"的做法,做到全书的 50%–60% 就必须换一个对话框继续。

原因:那不是记忆,是搬运。换对话框的那一刻,前面所有隐性约定都断了。

处理:这才是后来做账号化、做台账的直接动因——不是为了让模型更聪明,是为了让程序记住模型记不住的东西。

六、三条可复制的建议

  1. 先量"第 10 章"和"第 260 章"的单章输入体积。 这两个数字持平,才说明记忆在程序侧;它们一起涨,说明记忆还在上下文里。
  2. 检索键用确定性字段,不要用语义相似度。 长篇里"召回错了"比"召回少了"贵得多,一次人设冲突要倒回去改好几章。
  3. 摘要不要让模型自由写。 有损压缩 + 链式引用 = 误差复利。改成固定字段截取,宁可不好读。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 长篇写作的上下文开销通常随章数线性增长。我们把人物、事实、伏笔、章节摘要拆成四本结构化台账,按当前环节取用,实测单章请求稳定在 6–7 万字符、不随章数增长。本文公开测试条件、判据、对比数据、两处失败与适用边界。
  • 二、方案:把"记忆"从上下文里搬进四本台账
    • 2.1 四本台账的分工
    • 2.2 取用策略:按环节检索,而不是全量注入
    • 2.3 和 RAG 的区别在哪
  • 三、实测条件与判据
    • 3.1 测试条件
    • 3.2 判据:什么算"上下文机制失败"
  • 四、数据
  • 五、失败案例
    • 案例 1:摘要由模型自己压缩,误差在第 40 章后累积
    • 案例 2:别名没进人物库,同一角色被当成两个人
    • 案例 3:早期本地部署直接撞上上下文上限
  • 六、三条可复制的建议
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档