任务成功率
按约定验收规则通过的任务数 ÷ 纳入评估的任务总数;部分完成和取消任务的处理提前说明。
先与业务团队约定成功与质量要求,再比较时间、人工介入和成本。
按约定验收规则通过的任务数 ÷ 纳入评估的任务总数;部分完成和取消任务的处理提前说明。
评估准确性、完整性、来源依据及端到端耗时。
记录纠错、复核和补充操作时间,区分必须审批与失败补救。
同一评估任务集的总成本 ÷ 成功任务数,总成本包括失败与重试消耗;人工成本仅在有一致估算依据时另行纳入。
成功任务数为零时显示无法计算并解释原因,不显示零成本或无限大盈利指标。
用明确样本与规则建立基线,比较版本并持续观察实际运行。
选择代表性任务,记录难度、输入版本、允许资料与预期结果。
业务规则、自动评分与人工抽检结合,说明每项方法的作用和局限。
在相同任务与质量条件下比较不同模型或流程版本。
观察实际任务偏差,发现退化时复核并调整评估集。
对模型、上下文、工作流和人工协作提出调整方案,并明确如何检查改进效果。
关联具体步骤、失败原因或重复消耗证据。
调整模型规格、减少冗余上下文、优化工具步骤或复核位置。
说明可能改善的质量、时间或成本维度,不预设固定比例。
用原任务集和新增边界样本验证,记录变化和副作用。
与业务和平台团队确认改进方案,更新任务流程或模型策略,再评估实际效果。