语料标注规则的上游：标注还没开始，结果已经被决定了

声明：本文基于公开发布的国家标准文本、法规条文与公开的属地备案指引整理，不含任何产品推广，也不构成法律意见。文中量化值凡属"宜"的已单独说明，具体项目请以正式文本与属地网信部门答复为准。

0 先说结论

写语料标注规则的人，通常在解决一个下游问题。

他们的困扰很具体：标注标准怎么写才不退件、判断标准怎么定、审核记录怎么留。这些问题都真实存在，但它们全部位于标注环节内部。

而实践中更常见的一类失败，不在标注环节。

它出现在标注开始之前：进入标注平台的那批数据，本身已经不具备被合规标注的条件。

具体到三种情形：

• 来源追溯不上。 数据在库里，但说不清是哪个网站、哪个供应商、哪次采购来的。标注完了，规则里"数据来源合法"这句话没有对应的证据。
• 已经过滤过的和没过滤的混在一起。 上游只做了粗筛，或者根本没筛，把判断"这条内容有没有风险"的工作全部推给了标注员。
• 元数据缺失。 一条语料在入库时就丢了来源标识，此后无论怎么标，都回不到"它从哪来"。

这三种情形有一个共同点：它们都不是靠把标注规则写得更细能解决的。

由此得到本文的主线判断：

语料标注规则的质量上限，由进入标注环节的语料状态决定。标注规则能保证"标得对"，保证不了"标的那个东西是对的"。

这句话听起来像常识，但在备案材料里它经常被违背——因为六份材料是分头写的，写标注规则的人往往不掌握语料来源的完整证据，于是只能把来源相关的表述写成原则，而原则是无法核验的。

下面按这个判断展开，重点讲两套标准在哪个位置交接、交接处最容易掉什么。

1 两套标准在同一个动作上交接

先把标准的分工摆清楚，这是本文后面所有讨论的基础。

三份标准都是 2025 年 4 月 25 日发布、11 月 1 日实施，性质上都属推荐性国标。

它们的分工可以用一句话概括：45652 管原料，45674 管加工，45654 管成品。

值得留意的是，45652 和 45674 不是两条平行线，它们在同一个动作上交接：数据进入标注环节的那一刻。

这个交接点有一个具体的形态——标注平台的入库。在这之前，语料在采集与预处理的流程里；在这之后，语料在标注任务里。而标准的覆盖边界，正好卡在这个位置。

边界处最容易掉东西，原因很简单：两边的责任主体常常不是同一批人。 采集和预处理通常归数据工程或算法团队，标注归数据运营或外包团队。中间隔着一次交接，而交接最容易只交文件、不交状态。

一个可验证的现象：如果你问标注团队"这批数据的来源分布是什么、每类来源的比例多少、有没有做过采集前评估"，他们往往答不上来——不是不专业，是这个信息在交接时没有随数据一起过来。

而备案材料里关于来源的表述，恰恰要靠这批信息支撑。

2 上游的三种欠账，标注环节补不上

这一节把第 0 节提到的三种情形展开。它们之所以补不上，原因不一样。

第一种：来源追溯不上，标注规则里就只能是原则

GB/T 45652 对来源记录的要求是具体到字段的：

要求本身不难做到，难的是它要求的是记录，不是记忆。

现实里常见的状态是：数据采购了，合同在法务；数据入库了，元数据没打；工程师知道从哪来的，但没写下来，后来他离职了。

于是写标注规则时，只能写"数据来源合法，已取得授权"。这句话是对的，但它是自述，不能被核验——而标注环节没有任何手段能把它变成一个可查的事实。

这就是欠账一：来源证据的缺失发生在入库环节，暴露在材料环节，而修复点在两个环节之外。

第二种：过滤责任被推给标注员

这一种更隐蔽，因为它在流程上看起来是完整的。

上游只做粗筛，甚至不做筛选，理由是"标注环节会人工审核"。逻辑上说得通：既然每条都要人工看，前面筛不筛有什么差别？

差别在成本和一致性。

成本上，标注员的时间应该花在判断上，而不是筛掉明显违规的内容。如果一批数据里违规内容占比很高，标注团队的工作量会被这类样本大量吞噬，真正需要判断的边界样本反而没时间细看。

一致性上，更麻烦。人工初筛没有统一标准时，同一条内容可能被不同的人判成不同结果——而且这种分歧不会体现在标注记录里，因为初筛环节通常不留痕。

GB/T 45652 对这件事的态度是明确的：数据收集时应进行评估和记录，所含违法不良信息不应超过 5%；超过 5% 的来源，不应用于训练。

GB/T 45654 则把这一步拆成前后两道：采集前对来源随机抽样评估，超 5% 不采集；采集后对已采数据随机抽样核验，超 5% 不用于训练。

两道而不是一道，说明制度设计上并不假设"上游筛过就安全"。但这两道都在标注之前。

这就是欠账二：如果上游把筛选责任下推，标注环节要么承担超额工作量，要么在记录上留下空洞。

第三种：元数据丢了，标注结果就回不到来源

这一种最难补救。

一条语料如果入库时没有带上来源标识，它在标注完成后就是一条"标好的、无来源的"数据。你无法回答：这条被判为风险样本的内容，来自哪个网站、哪个供应商、哪个批次。

后果在两处显现。

第一处是核验。 标准要求安全性标注数据覆盖全面、有代表性，且可核验。一批不知道来源的样本，很难说明其代表性。

第二处是问题回溯。 假设后续发现某类风险判断系统性偏了，需要回查：是规则不清，还是这批数据本身有问题？如果元数据完整，可以按来源切分看分布；如果丢了，只能全量重标。

GB/T 45652 对此的要求是记录元数据并保证可追溯，还要求对采集的数据样本添加包含来源网页 URL 在内的元数据信息。

这就是欠账三：元数据是入库时一次性写对的事，事后补不回来。

三种欠账的共同结论：标注规则不能修复上游，它只能暴露上游。

而暴露是一件好事——一份老实写着"本批次数据来源分为三类，各自比例与授权文件见附表"的规则，比一份写"来源合法"的规则价值高得多。前者可被核验，后者只是表态。

3 进入标注环节之前，语料应该具备的五项状态

既然标注质量取决于入库状态，就有必要把这个状态说得具体一些。以下五项是我认为可以直接用来做入库验收的。

五项里，第 1 项和第 3 项最容易被忽略，因为它们的缺失在标注环节完全无害——标注照常进行，结果照常产出，问题只在写材料和被核验时暴露。

一个可操作的验收动作：在开启一批标注任务前，让标注负责人填一张入库单，只填五项，其中第 1 项要求"随机抽 20 条，逐条写出它的来源标识"。填不出来的样本比例超过某个阈值，这批数据就不该开标。

这个动作的价值不在于严格，而在于它把"上游有没有做好准备"变成了一个标注环节可以提问、也能得到答案的问题。

4 来源多样性：1% 这个数字的用法

GB/T 45652 对多样性提了两条具体要求：

• 同类型的数据应具有多个不同的数据来源；
• 同类型数据中，每个数据来源的比例不低于 1%。

第二条容易被误读成"最低占比要求"，实际它是一条反垄断条款。

理解方式是这样的：如果只说"要有多个来源"，那么 99.9% 来自一个源、0.1% 来自另一个源，在形式上完全合规。加上 1% 的比例要求之后，这种形式合规被排除了——任何被计入"多样性"的来源，都必须真实占有一定份额。

而"类型"的界定值得注意：按语言的文本、代码、图像、音频、视频分别计算。 也就是说，中文文本的多来源、英文文本的多来源、图像的多来源，是分别成立的。中文语料来源丰富，不能用来证明图像语料也多样。

对写标注规则的人来说，这一条有两个直接用途。

一是可以作为入库验收项。 把来源分布做一张表，按类型分行，看每类的来源数与最小占比。这张表本身也能作为备案材料的附表。

二是它会反向影响标注任务的切分。 如果某类数据来源高度集中，那么它的标注结果就不能用来代表"该类型数据的整体质量"——代表性不足不是标注的问题，是样本结构的问题。这一点在自评估报告里容易被写错：把某个来源的合格率当成整类的合格率。

还有一条与来源有关的搭配要求：如需使用境外来源训练数据，应合理搭配境内外来源。 这一条在跨境场景里尤其需要处理，而它的证据同样产生在标注之前。

5 5% 这个数字出现在三处，含义各不相同

这是我在整理材料时觉得最需要单独澄清的一点。多个标准、多个环节都出现 5%，但它们管的不是同一件事。

三处 5% 的性质完全不同：

• 前两处是准入判断，判断对象是数据源，结果只有"用"或"不用"；
• 第三处是质量判断，判断对象是标注批次，结果是"整批作废"。

把三者混为一谈会造成两种实际错误。

错误一：以为上游筛过 5% 就一劳永逸。 采集前的评估是对来源抽样，采集后的核验是对已采数据抽样。抽样意味着一批数据里仍可能有残留违规样本——这正是标注环节存在的意义之一。

错误二：把标注批次的 5% 当成数据质量的 5%。 标注批次的不合格率反映的是标注质量（人在判断上是否一致、是否按规则执行），不是数据本身的违规比例。这两个指标不同源、不可互换。

顺带说明一处需要小心的引用：不同标准的评价方法给出的抽样口径并不相同（例如有的按样本量、有的按总量的百分比）。写材料时若引用抽样比例，务必注明出自哪份标准、哪个附录，不要把不同标准的数字拼在一起说成一个统一要求。

被 5% 覆盖的"违法不良信息"，一般指向服务安全基本要求附录所列 A.1–A.4 共 29 种安全风险。这也是标注规则里安全性类别划分的参照系——规则的风险分类，应当与这套清单对齐，而不是自创一套。

6 授权链：三种来源，三套证据

授权是备案材料里最容易被写虚的一块。原因不是不重视，而是三类来源的证据形态完全不同，写规则的人往往只熟悉其中一类。

有两处特别值得说。

第一处：开源不等于免费，也不等于可以商用。

开源许可协议的差异很大，有的允许商用，有的只允许研究，有的对衍生作品有传染性要求。核验的落点是"读完协议原文并归档"，而不是"数据集页面写着 open"。

第二处：自采有一个容易漏的边界。

标准里有一句提示性说明：对于汇聚了网络地址、数据链接等能够指向或生成其他数据的情况，如需使用这些被指向或生成的内容作为训练数据，视同自采训练数据。

这句话的实践含义是：你写了一个聚合页、一个链接清单，不等于你自己生产了这些内容。 指向别人内容的，按上游内容处理，要遵守上游的限制。这一条在语料来源高度依赖网页采集的项目里很关键，也常被误判为"我们自己的数据"。

对标注规则的影响在于：标注规则里的"数据格式"和"数据来源"两栏不是独立的。 来源类型决定了标注任务能不能标——例如来自使用者授权的数据，往往涉及个人信息字段，标注时是否需要脱敏、脱敏后还能不能用于训练，都是标注规则要回答的问题。

7 个人信息：两类同意，两种记录

语料里的个人信息，标准要求的是一条清晰的分层：

• 涉及个人信息的，应取得该个人的同意，或符合法律规定的其他情形；
• 涉及敏感个人信息的，应取得单独同意，或符合法律规定的其他情形。

"单独同意"不是"在用户协议里一起勾选"，而是就该项处理单独获取的同意。这个区别在语料链条上会具体化成两件事：

第一件，记录能不能对应到人。 如果同意是通过协议勾选获得的，那你需要证明的是"这批数据对应的用户，在采集时同意了训练用途"。批量协议加批量数据的组合，往往在这里断链。

第二件，标注环节的处置规则。 标注规则里应当明确：含个人信息字段的样本，标注时如何处理（脱敏、隔离、禁止外传），脱敏后的样本是否仍可用于训练。这一条没写，标注员会自行处理，结果不可预期。

有一个容易被忽略的连带问题：使用者输入信息用于训练时，需要授权记录。 这属于来源类型里的第四类（服务使用者数据），记录要求是服务名称加使用者标识。很多产品的用户协议里没有训练用途条款，这属于来源环节的欠账，标注环节无法弥补。

8 从标注规则反推上游：一张接口清单

这一节是全文最想给出的东西。

写标注规则时，可以顺手做一件事：把规则里涉及上游事实的表述逐条拎出来，检查它是否有对应的上游记录。 这一步做完，你会发现两份材料之间的接口在哪里。

这张表的用法很直接：右边一栏空着的行，就是标注规则里的空话。

两种处置都可以接受。一种是补上游记录，然后这句话保留；另一种是承认做不到，把这句话改成能做到的表述——例如把"已对语料做安全过滤"改成"本批数据入库前未做完整过滤，标注环节对全部样本执行安全性初筛，初筛规则见附件"。

后一种写法看起来不体面，但它是可核验的。而且它解释了一件事：为什么这批标注的工作量和周期是现在这个数。

备案材料里最怕的不是缺点，是无法解释的缺点。 一个被写清楚的缺口，是可控的；一个被含糊掩盖的缺口，会在核验时变成"表述与实际不符"。

9 上游变了，标注规则就得跟着变

语料侧的变更不会自己通知标注团队，这是流程上的一处结构性风险。

最后一行值得多说一句。个人信息处理方式的变化，往往由法务或产品侧发起，属于"合规动作"，但它同时是一次标注规则变更——因为标注员手上处理的样本形态变了。

这一类"由合规动作引发的生产变更"，是最容易漏通报的。它不像功能上线那样有发布评审，通常只是一封邮件。

一个低成本的做法：把标注规则的版本号，与语料来源清单的版本号绑定。 任何一方修订，另一方强制复核一次。版本号本身没有技术含量，但它把"要不要通知对方"从一件靠人记的事，变成了一件有记录的事。

10 六种常见的写法问题

一、把来源写成一个形容词。

"数据来源合法合规"不是信息，是结论。可核验的写法是分类列出：自采、开源、采购、使用者数据各占多少，各自的证据在哪。

二、把过滤写成一次动作。

"已对语料进行过滤"没有说明过滤发生在哪一步、用什么方法、抽检多少。而这些恰恰决定了进入标注环节的数据是什么状态。

三、把 5% 写成统一门槛。

前文说过，三处 5% 管的不是同一件事。混写会让读者无法判断这个数字在说什么。

四、把风险分类自创一套。

安全性标注的类别应当能与标准附录的风险清单对应。自创分类的结果是：材料里看起来覆盖很全，但无法与任何外部口径比对。

五、把个人信息只写成一句"已脱敏"。

脱敏方式、脱敏后是否可逆、脱敏样本能否用于训练，三件事都要说。只说"已脱敏"等于没说。

六、把上游的缺失写成标注环节的责任。

"标注员负责初筛违规内容"这类表述，在责任上没错，在流程上揭示了上游的空缺。写清楚是好事，但要意识到它会被追问：既然标注环节承担了初筛，那初筛的标准、抽检比例、不合格处置是什么。

11 提交前核验清单

按本节的分工排列，共 24 项。A、B 两组需要与上游团队共同确认，C、D 两组由标注负责人自查。

A 来源与授权（7）

• [ ] 已按类型（自采／开源／采购／使用者）列出全部来源，附比例
• [ ] 每类来源的证据形态明确，且能对应到具体数据集
• [ ] 开源数据集已归档许可协议原文，确认是否允许商用
• [ ] 自采数据有采集记录，且已核验不得采集的技术标识（如 robots 协议）
• [ ] 采购数据有合同或协议，已记录对上游数据与承诺的审核结果
• [ ] 使用者数据的授权记录含服务名称与使用者标识
• [ ] 涉及境外来源的，已统计境内外比例并说明搭配安排

B 过滤与元数据（6）

• [ ] 采集前对来源做过随机抽样评估，有实测违法不良信息比例
• [ ] 采集后对已采数据做过抽样核验，结论与处置已记录
• [ ] 每条样本带来源标识，抽 20 条可逐条追溯成功
• [ ] 文本／图像／音频／视频各自的过滤机制已分别说明，非统一表述
• [ ] 使用生成式模型产出内容作为训练数据时，有幻觉风险评估机制
• [ ] 元数据与批次标识的保留策略已明确，可支撑后续回溯

C 接口一致性（6）

• [ ] 标注规则中的来源表述，与来源清单完全一致，无多写或漏写
• [ ] 规则里的风险类别能与标准附录清单对应，有映射说明
• [ ] 需覆盖的风险类别，可用样本量足够，未出现"要求覆盖但无样本"的类别
• [ ] 含个人信息样本的脱敏与隔离规则已写明，脱敏后可用性有结论
• [ ] 过滤策略版本与标注规则版本已关联，可判断是否需同步复核
• [ ] 规则中凡涉及上游事实的表述，均能指向一份可提供的记录

D 变更与留痕（5）

• [ ] 已列出会触发规则复核的上游变化类型
• [ ] 来源清单与标注规则建立版本绑定，一方修订触发另一方复核
• [ ] 上游停止使用某来源时，已标注数据的保留与处置规则已写明
• [ ] 规则修订有版本记录（修订日期、内容摘要、对应重新培训）
• [ ] 规则修改后，已评估是否涉及备案信息或安全评估报告中的事实描述变化

12 FAQ

问：语料全部采购自第三方，标注规则里关于来源的部分还要写这么细吗？

答：要，但重点不同。全采购的情形下，核心证据是合同与授权，以及对上游数据、承诺、证明材料的审核记录。规则里最值得写清的是"采购来的数据集，其来源与授权链能核到哪一层"——如果供应商也只能给到转售承诺，那这个边界要如实写明。

问：上游是集团内另一个部门提供的数据，还算外部来源吗？

答：标准管的是来源类型与证据形态，不看组织关系。集团内提供的数据，同样需要说明其原始来源（是自采、开源还是采购），以及该原始来源的证据。把"内部提供"当成不需要溯源的来源，是常见误判。

问：只用开源数据集，来源多样性这一条怎么满足？

答：按类型分别看。同一类型的开源数据集，也应当来自多个不同的数据集，并且单一数据集占比不低于 1%。如果某类型只用了单一开源数据集，这是一个需要如实说明的现状，而不是可以忽略的项。

问：5% 是硬标准还是参考值？

答：在服务安全基本要求中是"不应超过"的表述，属明确要求；在不同标准的不同条款中，其针对对象与处置方式不同，引用时须注明出处与适用环节。写材料时把它们分开陈述，比合成一句"均不超过 5%"更稳。

问：标注规则写完后，上游又换了一批语料，要不要重新提交？

答：先判断这次更换是否改变了规则中的事实描述——来源类型是否变化、比例是否变化、授权证据形态是否变化、个人信息状态是否变化。

四项都未变，通常是内部更新版本并留记录；有变化，则需评估是否涉及备案信息或评估报告的事实更新。这一条各地把握不完全一致，建议先判断再问属地。

问：上游记录都在别的团队手里，写规则时拿不到怎么办？

答：这正是本文想指出的问题。两个可行做法：一是把"上游记录提供"作为开标前置条件，写进内部流程；二是如果暂时拿不到，就在规则里如实写明当前可核验到哪一层。第二种做法短期不好看，但它避免了"写了做不到"这个更麻烦的状态。

13 结语

把全文收敛成一句：

标注规则的质量上限，由入库时的语料状态决定；而入库状态由采集与预处理决定，这两件事都不在标注团队的权限里。

这句话解释了一个常见困惑：为什么认真写了标注规则，仍然会在核验环节被追问。

因为被追问的往往不是规则写得对不对，而是规则里那些关于来源、授权、过滤的表述，背后有没有东西。而这些"背后的东西"，产生在标注开始之前。

理解了这一点，做法会变。写规则之前先做一件事：把规则里所有涉及上游事实的句子标出来，逐句找一个能拿出来的记录。 找得到的保留，找不到的改写成能做到的表述。

这个动作大概需要半天。它的收益是让这份材料从"一份看起来完整的规则"，变成"一份边界清楚的规则"——后者更容易被接受，因为它不要求读者相信任何没有证据的话。

附：主要依据

• GB/T 45652—2025《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》（2025-04-25 发布，2025-11-01 实施）
• GB/T 45674—2025《网络安全技术 生成式人工智能数据标注安全规范》（同上）
• GB/T 45654—2025《网络安全技术 生成式人工智能服务安全基本要求》（同上，附录 A 风险清单、附录 B 量化参考为资料性附录）
• 《生成式人工智能服务管理暂行办法》第七条（训练数据来源与处理）、第八条（标注规则、质量评估、人员培训）、第十九条（监督检查时的说明义务）
• 各地网信部门公开的备案材料要求与填报指引

注：上述三份国标均为推荐性国家标准。文中"应"类表述引自标准条文，"宜"类表述为推荐性要求，已在相应位置区分。