Prodigy标注工具的技术流程

Prodigy 智能标注流程详解

1. 数据输入与预处理
   • 原始文本数据（TXT、JSON、JSONL 格式）通过 db-in 命令导入系统，建立初始标注任务队列。
   • 支持管道流式处理，确保大规模数据的内存高效管理。系统可集成预训练模型（如 en_core_web_sm）进行初始化处理。
2. 智能采样与策略
   • 采用多种采样策略优化标注顺序：随机采样避免分布偏差；流式采样处理动态数据输入；多样化采样确保样本覆盖性。
   • 利用命名实体识别（NER）管道中的模型置信度分数，筛选低置信度样本优先标注。
3. 核心标注界面
   • 提供二进制分类（accept/reject）与实体跨度标注两种主要模式。
   • 所有标注操作实时存储至后端 SQLite 数据库，保证数据持久化。
4. 模型在环更新机制
   • 每完成一批标注，系统自动触发模型重新训练。
   • 通过 teach 与 correct 命令对比新旧模型差异，生成差异热力图辅助标注员聚焦变更区域。
   • 更新后的模型输出 ner-train 工作流，形成“标注-训练-优化”的闭环迭代架构。
5. 主动学习循环
   • 系统根据当前模型对未标注样本的预测熵值，计算信息增益指标。
   • 筛选信息量最高的样本加入待标注队列，持续提升模型效率。
   • 标注数据达到一定规模后，支持导出为 spaCy 原生训练格式或 RDF 三元组形式（用于知识图谱构建）。
6. 质量评估与报表
   • 输出 db-stats 命令生成标注一致性统计报表，包括标注员间信度（IRR）计算。
   • 提供精度/召回率实时曲线图，监控模型性能随标注量增加的增益趋势。FINISHED