做AI回答评测时，四条采样记录里可能只有两条能参与计算：一条有明确判定，一条明确未命中，另外两条分别超时、尚未复核。如果报表把四条都放进分母，或者把待复核直接填成false，结果就会偏离原始记录。

这篇教程实现一个本地Python校验器：先检查字段和状态，再按采样条件分组，最后输出有效数、命中数、失败数和待复核数。代码只处理人工标注结果，不调用模型，不推断回答语义。全部输入都是合成教学数据。

## 1. 先固定一条记录的含义

一条记录对应一次回答尝试，用id唯一标识。本文中的hit表示“回答是否满足预先约定的检查条件”，判定规则由评测者给出。例如，检查某个字段是否与参考事实一致；不同规则应拆成不同评测任务。

采样状态status取ok、timeout、error。hit取true、false或null，三者有独立含义：

- status为ok且hit为布尔值：回答已复核，计入有效样本。
- status为ok且hit为null：回答已取得，判定待完成。
- status为timeout或error：采样失败，hit必须为null。

失败记录带着false通常意味着上游把“没有回答”和“回答不符合条件”混在一起。本文选择直接报错，让数据提供方确认后重跑。这个取舍会中断当前批次，适合规模较小、可以回查原始数据的评测。

![评测记录分为已复核、待复核和采样失败](https://developer.qcloudimg.com/http-save/yehe-12139210/607e3092afe5752e4880736cf43bb9b6.png)

图中“有效样本”要求采样成功且已有布尔判定。失败记录与待复核记录仍保留在报告里。

## 2. 分组键要覆盖本次控制的条件

程序使用七个字段组成分组键：batch为批次，platform为平台，model为可见模型标识，mode为交互模式，dataset_version为问题集及判定规则版本，network为联网状态，session为会话条件。

这些字段都用非空字符串记录。本文的demo与unknown是示例值；真实环境看不到模型标识时，可以明确写unknown。多个unknown分在同组，只表示记录值相同，不能证明实际底层模型一致。采样报告需要保留这项限制。

dataset_version变化会产生新分组。若只改了一个问题，却沿用旧版本号，程序无法识别这种语义变化。实际使用时应固定问题清单和判定规则，并在版本清单中保存文件校验值。模型温度、语言或其他可控参数影响本次实验时，也应加入分组字段，不能机械照搬这七项。

id在整批输入中唯一。导出重试产生重复记录时，程序会停止，而不会悄悄保留最后一条。这能避免一条回答被重复计数；它也意味着导入前应为每次真实尝试分配独立id。

## 3. 完整实现与运行方法

本次在macOS、Python 3.13.5实际运行。代码仅使用标准库。将下面内容保存为eval_records.py：

```python
import json
from collections import defaultdict

GROUP_FIELDS = (
    "batch", "platform", "model", "mode",
    "dataset_version", "network", "session",
)


def summarize(rows):
    seen = set()
    groups = defaultdict(list)
    for index, row in enumerate(rows):
        if not isinstance(row, dict):
            raise ValueError(f"row {index}: expected object")
        for field in ("id", *GROUP_FIELDS, "status"):
            value = row.get(field)
            if type(value) is not str or not value.strip():
                raise ValueError(f"row {index}: invalid {field}")
        if row["id"] in seen:
            raise ValueError(f"duplicate id: {row['id']}")
        seen.add(row["id"])
        if row["status"] not in {"ok", "timeout", "error"}:
            raise ValueError(f"row {index}: unknown status")
        if "hit" not in row:
            raise ValueError(f"row {index}: missing hit")
        hit = row["hit"]
        if hit is not None and type(hit) is not bool:
            raise ValueError(f"row {index}: hit must be bool or null")
        if row["status"] != "ok" and hit is not None:
            raise ValueError(f"row {index}: failed sample has a verdict")
        key = tuple(row[field] for field in GROUP_FIELDS)
        groups[key].append(row)

    result = []
    for key, batch in sorted(groups.items()):
        valid = [r for r in batch
                 if r["status"] == "ok" and type(r["hit"]) is bool]
        hits = sum(r["hit"] for r in valid)
        failed = sum(r["status"] != "ok" for r in batch)
        pending = len(batch) - len(valid) - failed
        result.append({
            "group": dict(zip(GROUP_FIELDS, key)),
            "total": len(batch), "valid": len(valid), "hits": hits,
            "failed": failed, "pending": pending,
            "rate": hits / len(valid) if valid else None,
        })
    return result


def sample(record_id, status="ok", hit=None, **changes):
    row = dict(
        id=record_id, batch="demo-1", platform="demo",
        model="unknown", mode="search", dataset_version="v1",
        network="on", session="new", status=status, hit=hit,
    )
    row.update(changes)
    return row


if __name__ == "__main__":
    rows = [
        sample("r1", hit=True),
        sample("r2", hit=False),
        sample("r3", status="timeout"),
        sample("r4"),
    ]
    print(json.dumps(summarize(rows), ensure_ascii=False, indent=2))
```

输入校验完成后才开始计算，异常批次不会输出一份看似完整的部分报告。为了让示例容易阅读，错误只报告第一处；处理大文件时可以改成逐行错误清单，但要清楚标记哪些行未进入计算。

代码使用type(hit) is bool检查判定字段。Python中bool是int的子类，数字1与True在某些比较中相等；这里拒绝数字0、1以及字符串"false"，避免数据类型错误被当成合法标注。

使用终端运行：

```bash
python3 eval_records.py
```

示例输出中，group包含上述七个条件，统计字段如下：

```json
{
  "total": 4,
  "valid": 2,
  "hits": 1,
  "failed": 1,
  "pending": 1,
  "rate": 0.5
}
```

四条输入分别是命中、未命中、超时和待复核，所以有效分母为2，rate为0.5。这个比例只描述教学输入，不是模型能力评测结论。真实数据还需要说明问题抽样方法、判定一致性与样本量。

当分母为0时，程序输出JSON null；展示层可以写“无有效样本”。空输入返回空列表，表示没有任何组。两者都不应显示成0%的命中率。

## 4. 把边界情况写成可重复运行的测试

把以下内容保存为同目录下的test_eval_records.py：

```python
import unittest
from eval_records import GROUP_FIELDS, sample, summarize


class EvaluationTests(unittest.TestCase):
    def test_counts(self):
        rows = [sample("1", hit=True), sample("2", hit=False),
                sample("3", status="timeout"), sample("4")]
        result = summarize(rows)[0]
        self.assertEqual(
            [result[k] for k in ("total", "valid", "hits",
                                "failed", "pending", "rate")],
            [4, 2, 1, 1, 1, 0.5],
        )

    def test_zero_denominator(self):
        self.assertIsNone(summarize([sample("1")])[0]["rate"])
        self.assertEqual(summarize([]), [])

    def test_duplicate_id(self):
        with self.assertRaisesRegex(ValueError, "duplicate"):
            summarize([sample("1"), sample("1")])

    def test_boolean_only(self):
        for value in (1, 0, "false", [], {}):
            with self.subTest(value=value), self.assertRaises(ValueError):
                summarize([sample("1", hit=value)])

    def test_failed_with_verdict(self):
        with self.assertRaises(ValueError):
            summarize([sample("1", status="error", hit=False)])

    def test_invalid_status(self):
        with self.assertRaises(ValueError):
            summarize([sample("1", status="success")])

    def test_required_fields(self):
        for field in ("id", *GROUP_FIELDS, "status", "hit"):
            row = sample("1")
            del row[field]
            with self.subTest(field=field), self.assertRaises(ValueError):
                summarize([row])
        with self.assertRaises(ValueError):
            summarize([sample("1", mode=" ")])

    def test_group_conditions(self):
        for field in GROUP_FIELDS:
            other = sample("2", hit=False, **{field: "different"})
            with self.subTest(field=field):
                self.assertEqual(len(summarize(
                    [sample("1", hit=True), other])), 2)


if __name__ == "__main__":
    unittest.main()
```

在两个文件所在目录运行python3 -m unittest test_eval_records -v。本次8个测试方法全部通过，其中subTest会分别检查多种错误值和每个分组字段。

这些测试覆盖：正常计数、零分母、空批次、重复id、错误布尔类型、失败样本带判定、未知状态、必填字段缺失，以及采样条件变化后分组。测试通过的范围限于这里列出的断言，不能据此宣布所有外部输入都已覆盖。

一个值得保留的反例是：给timeout记录填hit=False。它会触发“failed sample has a verdict”。如果只是把这条记录排除、继续输出比例，上游错误可能长期无人发现。

## 5. 让每个比例都能找到原始材料

![指标回查需要分子、分母、失败记录和原始证据](https://developer.qcloudimg.com/http-save/yehe-12139210/241244986083589f04569b6c9f1474da.png)

这张图提示报告需要关联的材料。图中的失败项对应采样超时或原答缺失；本文的待复核状态单独记录，不能合并到失败。

程序输出的是聚合统计。正式使用时，另建记录表保留id、问题原文、回答原文、判定规则版本、复核时间，以及文件位置。若回答显示了来源链接，应原样保存，再单独核查链接与所评估主张的支持关系。一个链接出现过，并不证明它支持全部回答。

原始文件可以计算校验值，用于检查文件是否变化。校验值只证明字节一致性，无法证明答案真实或判定正确。共享数据前应删除访问凭证、私人聊天和未获授权的业务资料。

比较两个批次时，先核对问题集、模式、会话条件及失败比例，再讨论rate变化。条件改变、待复核比例悬殊或样本过少时，应保留差异说明。本文程序不计算置信区间、不控制抽样偏差，也不提供因果判断。

接入自己的记录前，先把一条重复id、一条字符串判定和一个零分母批次加入测试。确认它们分别触发错误或null，再导入正式数据。

参考：[Python布尔类型说明](https://docs.python.org/3/library/stdtypes.html#boolean-type-bool)、[Python unittest文档](https://docs.python.org/3/library/unittest.html)。

创作说明：文字、代码及示意图使用AI辅助制作。文中示例与测试已在本机运行，数据均为虚构教学样本。



做AI回答评测时，四条采样记录里可能只有两条能参与计算：一条有明确判定，一条明确未命中，另外两条分别超时、尚未复核。如果报表把四条都放进分母，或者把待复核直接填成false，结果就会偏离原始记录。

用Python校验AI回答评测数据：分组统计与异常检查

用Python校验AI回答评测记录，区分有效、待复核和失败样本，按条件分组并验证异常分支。文字、代码和配图使用AI辅助制作，示例已在本机运行。

编程语言

开发工具

测试

本地Python校验器可识别无效字段与状态，按七字段分组统计有效样本、命中、失败与待复核数。仅处理人工标注，拒绝重复id、错误布尔值和失败带判定记录。合成数据示例中，4条记录仅2条有效，命中率0.5。程序输出JSON报告，支持零分母返回null，并提供完整单元测试覆盖边界条件。

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

用Python校验AI回答评测数据：分组统计与异常检查-腾讯云开发者社区-腾讯云

用Python校验AI回答评测数据：分组统计与异常检查

用Python校验AI回答评测数据：分组统计与异常检查

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐