首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >用大模型 Agent 做微短剧内容审核:架构、标签体系与三类场景实践

用大模型 Agent 做微短剧内容审核:架构、标签体系与三类场景实践

原创
作者头像
腾讯云_内容识别
发布2026-08-11 10:54:31
发布2026-08-11 10:54:31
1340
举报
文章被收录于专栏:内容识别内容识别

一、为什么传统审核模型在微短剧场景开始"力不从心"

微短剧和漫剧的产能,正在被 AIGC 迅速放大——制作周期从"月"压缩到"天",审核量随之激增。但更棘手的不是量,而是风险类型的迁移

  • 早期:风险以"看得见"的低俗色情、封建迷信、观感不适为主,关键词 + 图像特征的小模型基本能覆盖。
  • 现阶段:风险转向价值观导向AI 合规——历史虚无、不良价值观导向、危害未成年、AI 魔改经典、换脸侵权、AIGC 标识合规等。这类问题更隐晦,往往需要理解剧情、角色与上下文意图才能判定。

叠加监管从"阶段性专项整治"走向"覆盖备案、审核、AI 标识的常态化管理"(《微短剧发展管理办法》征求意见、有害低俗内容与侵权盗版专项治理、各平台 AI 短剧审片标准陆续落地),内容合规已成为微短剧行业的长期基础设施。

传统小模型的瓶颈很典型:为保精准度就得把策略调严,结果通过率被压到 5 成,大量内容涌向人工复核,成本居高不下;调松又会漏审价值观类风险。这本质上是"关键词/特征匹配"范式难以理解语义和意图导致的。

我们的思路是:用一个能理解上下文的大模型审核 Agent,替代或前置于传统小模型,把"靠经验审"变成"按标准跑"。


二、整体架构:RAG + Prompt 编排 + In-Context Learning

Agent 的架构分为三层:客户侧接入 → 短剧审核 Agent → 处置层

1. 客户侧接入

  • 输入:业务场景 + 多模态内容(文本 / 图片 / 音频 / 视频 / 直播流)
  • 接口及预处理:变体转义、OCR、ASR 转写、视频抽帧——把多模态内容统一转为可供推理的结构化输入。

2. 短剧审核 Agent(核心)

① 分层召回 先用关键词 / 特征清单做拦截,再用 RAG 检索规则与判例。设计要点是传统层快而省、大模型层准而全——不是所有内容都要过大模型,成本可控。

② Prompt 编排 + 推理 + 反思

  • Prompt / 流程编排:审核范围与尺度可定制
  • In-Context Learning:用判例样本引导判断
  • 三段式推理:命中标签 → 判定意图 P/Z/N → 评分;随后反思复核红线、超阈值追查

③ AISD 标签体系 + 私有知识库

  • 微短剧专属标签体系(价值观 / AI 魔改 / Prompt 源头等)
  • 私有知识库承载法规、监管口径、判例、客户标准,动态更新而不改模型——这一点对合规场景很关键,规则变化频繁,重训成本承受不起。

④ 结构化结果输出 风险标签 + 评分、命中原因 / 证据、法规引用、处置建议 + 修改建议。

3. 处置层

  • 业务处置(自动):高分 / 命中红线 → 拦截 · 限流,不进入分发,仅自己可见
  • 人工审核队列:存疑内容送人工复核,结论回流沉淀为判例库,形成闭环优化。

架构上的两个关键设计:一是分层召回兼顾成本与精度;二是知识库与模型解耦,规则动态更新不重训。


三、标签体系:把"模糊风险"拆成"可执行标准"

审核最难的地方在于很多风险"只可意会"。我们用一套四级标签体系把它标准化:

层级

数量

含义

L1 一级类目

9

风险大类

L2 二级类目

38

风险场景

L3 三级类目

118

具体风险点

L4 意图判据

354

P/Z/N 三态

体系亮点:AI 独有标签 / AIGC 合规 / 剧壳剧本 / 红线不可豁免 / 聚焦语义与意图判定。

意图三态:同一风险点,看意图决定处置

这是大模型区别于传统模型的分水岭。以 L3 风险点"历史虚无化"(戏说/解构重大历史事件、英烈)为例:

意图态

判定

处置

P 正向

艺术化致敬历史人物,服务于教育、缅怀,伴随明确反思

通过

Z 中性

架空朝代/纯虚构无历史所指,仅作戏剧背景,无情绪引导

通过 / 标注

N 负向

过度低俗化、娱乐化,AI 魔改名著或英模

拒绝 / 限流 / 打回

传统模型看到"历史人物 + 争议台词"往往一律拦截;而 Agent 能判断这段内容到底是致敬还是解构,给出恰当处置——这直接决定了误判率和通过率。

差异化策略:短剧 vs 漫剧

  • 短剧(真人为主):主查价值观类风险(历史虚无 / 不良导向 / 危害未成年 / 复仇爽感累积等),依赖上下文与意图理解。
  • 漫剧(AI 生成为主):主查低俗与 AI 魔改(低俗色情擦边 / 封建迷信 / AI 魔改经典 / 换脸侵权 / AIGC 标识合规等)。

四、三类真实场景实践

架构和标签体系最终要落到业务环节。以下三类场景覆盖了微短剧内容生命周期的主要审核节点。

场景一 · 平台方:上线前的三道关

平台审核不是"看一遍成片",而是剧本 → 剧壳(封面/标题/简介)→ 成片终审多环节把关。以《重生民国当大佬》为例:

  • 剧本审查(✕ 未通过):命中片段"那些前线拼命的人,不过是一群愚忠之辈",判定为历史价值观风险、英烈形象不当描述,需修改剧情对白后重新提交。
  • 剧壳审查(⚠ 需整改):宣传文案"重新定义英雄与历史"存在引导历史虚无主义风险,建议避免争议性营销。
  • 成片终审(✕ 未通过):精确定位 02:18 主角贬损抗战将士、08:46 旁白强化错误导向,建议删除镜头重剪。

技术要点:同一价值观风险在三个环节以不同模态出现(台词文本 / 营销文案 / 带时间戳的镜头),Agent 的多模态理解 + 结构化输出,能在每一环给出对应证据。

场景二 · 制作方:提交前的成片自审

制作方最痛的是"反复被打回"。理想做法是提交前先自审。以《林黛玉大战贾宝玉》(30 集)为例,Agent 按价值观导向 / 低俗擦边 / 人物形象 / 语言表达 / 版权合规五维度扫描,识别出 3 处风险,均带精确时间点:

  • 00:12:45 人物形象风险:夸张暴力互殴恶搞经典 → 建议改为语言冲突
  • 00:28:10 低俗擦边风险:性暗示台词表情 → 建议删改
  • 00:45:30 价值观导向风险:极端否定传统文化 → 建议调整表述

技术要点:输出不是一句"不通过",而是"时间点 + 风险类型 + 修改建议"的可执行清单,让整改一次到位。

场景三 · 投流方:物料与正片的一致性校验

投流环节最典型的风险是"货不对板"——单看物料合规、单看正片合规都不够,风险藏在一致性里。以《霸总壁咚》为例:

审查维度

投放物料

正片实际

结论

标题党

"一夜缠绵,霸总上瘾!她逃不掉了!"

单亲妈妈带娃日常

夸张诱导,标题党

物料错位

甜蜜吻戏片段

家庭生活为主

剧情严重错位,虚假宣传风险

审核结果:不通过。建议修改标题、使用与正片一致的物料。

技术要点:Agent 做的是跨内容比对(物料 ↔ 正片),这是单点审核最容易漏掉的维度。


小结

微短剧审核的核心矛盾,是风险语义化、意图化传统匹配范式之间的错配。大模型审核 Agent 通过三层架构(分层召回 + Prompt 编排/反思 + 知识库解耦)、四级标签体系(9/38/118/354 + P/Z/N 意图三态)和多模态理解,把审核从"靠经验"变成"按标准跑",在保证精准度的同时显著降低人工成本。

内容安全能力:腾讯云天御 · 内容安全。欢迎在评论区交流你在微短剧 / UGC 审核场景遇到的问题。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、为什么传统审核模型在微短剧场景开始"力不从心"
  • 二、整体架构:RAG + Prompt 编排 + In-Context Learning
    • 1. 客户侧接入
    • 2. 短剧审核 Agent(核心)
    • 3. 处置层
  • 三、标签体系:把"模糊风险"拆成"可执行标准"
    • 意图三态:同一风险点,看意图决定处置
    • 差异化策略:短剧 vs 漫剧
  • 四、三类真实场景实践
    • 场景一 · 平台方:上线前的三道关
    • 场景二 · 制作方:提交前的成片自审
    • 场景三 · 投流方:物料与正片的一致性校验
  • 小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档