评估 Copyleaks 文本审核的准确性

详细方法论

我们认为，充分透明地披露文本审核模型的准确率、误报率和漏报率、需要改进的方面等信息至关重要，这有助于确保模型得到负责任的使用和推广。这份全面的分析旨在确保文本审核模型测试方法的完全透明。.

考试日期： 2025年6月29日

发布日期： 2025年9月16日

测试模型： V1

Copyleaks 文本审核模型 v1 接受了双人盲评，共使用了 120,000 篇英文文本（50% 违规，50% 非违规），这些文本与训练数据集完全分离。.

评估结果表明，该模型能够以非常高的召回率识别有害内容，同时几乎不会将无辜文本标记为有害文本。.

当使用三个领先的商业审核 API（OpenAI、Azure 和 Google）以默认阈值处理相同的数据集时，Copyleaks 产生的误报和漏报更少，在关键指标上具有 4%-30% 的优势。.

关键数据（QA 测试集，N = 20,000）

为了获得模型性能的客观评价，我们采用了双团队盲测的方式。数据科学团队和测试团队完全独立工作，使用不同的机器、不同的脚本，并且不共享任何数据。.

数据科学测试集

10万条英文段落（5万条不违规/5万条违规）
文本样本从四个经过审核的来源中随机抽取（不放回）：公开的社交媒体数据、新闻文章、公共领域文献以及 Copyleaks 生成的极端案例。所有材料均属于公共领域或已获得明确的许可。
与两位外部法学硕士进行交叉核对；仅保留一致同意的项目。
涵盖所有 Copyleaks 保单类别
标签确定性筛选：仅保留审核状态为 100% 明确的段落；任何状态模糊的文本均被剔除。这最大限度地保证了直接比较的公平性，并消除了真实性中的主观因素。

QA 测试集

数据科学数据集严格地与用于训练的原始语料库分开。问答数据集包含在模型训练后特意编写的段落；这些文本在训练过程中从未出现过，也并非来自训练语料库。.

Copyleaks API v1，查询日期：2025年6月24日
竞争对手端点（于 2025 年 6 月 24 日使用相同的预处理方法查询）
- OpenAI Moderation v2，默认阈值
- Azure AI 内容安全版本 2025-06-15
- Google Perspective API 版本 2025-06-12，毒性阈值 = 0.50
预处理：保留表情符号，不进行词干提取或转换为小写
对于每次运行，我们记录原始 JSON 响应，得出二元结果，构建混淆矩阵（TP、FP、TN、FN），然后计算准确率、精确率、召回率、TNR 和 F-Beta(0.5)。

以下定义用于描述调节类别：

本文本审核任务中使用的指标包括：

1. 混淆矩阵：一张总结模型性能的表格，显示：

1. 真阳性 (TP)：违规文本已被正确识别为需要审核。.
2. 假阳性 (FP)：未违规文本被错误地识别为需要审核。.
3. 真阴性 (TN)：正确识别出无需审核的非违规文本。.
4. 假阴性 (FN)：违规文本被错误地识别为不需要审核。.

2. 准确性：被评估文本总数中正确分类的实例（包括真阳性和真阴性）所占的比例。.

3. 真阴性率（TNR）：实际负面实例中被正确识别为负面实例的比例。在文本审核领域，TNR 衡量模型在非违规文本上的表现。.

4. 真阳性率 (TPR) / 召回率：实际正例中被正确识别为正例的比例。在文本审核领域，TPR衡量的是模型对违规文本的处理性能。.

5. 精确度：正确预测为阳性结果占所有阳性预测结果的比例。在文本审核领域，精确率衡量的是模型标记违规内容的可靠性；它告诉我们，模型识别出的违规文本中，有多少最终得到了审核。.

6. F-beta 值：精确率和召回率的加权调和平均值，其中β参数设置为优先考虑精确率。这种优先排序有助于降低假阳性率。.

数据科学团队

混淆矩阵

质量保证团队

质量保证测试指标汇总：

直接对决基准

语言范围：本模型及其评估仅涵盖英语。.
上下文范围：审核每次仅针对一个“段落”，一个段落是指包含一定数量词元的独立文本块。系统不会跨段落、章节或对话轮次保存信息；因此，诸如“正如我们之前解释过的”之类的表述或依赖于先前上下文的代词可能会被遗漏。.
模态范围：本产品仅评估文本；不包括图像、音频或视频输入。.