可用性与时延
成功响应、首 Token 延迟、生成速度及异常分布。
在约定测试集上验证目标资源。
观察表现变化与异常迹象。
结合报告决定复测、隔离或更新使用策略。
单次成功响应无法描述资源质量,需要结合测试方法和场景解释不同指标。
成功响应、首 Token 延迟、生成速度及异常分布。
在约定题集和任务上比较输出质量,明确评分方法。
记录资源标识与版本表现,观察结果变化。
分析返回的用量及缓存信息,标注数据来源与可验证范围。
在具备测试条件时,探索资源身份、响应异常和链路风险的检测,为后续调查提供线索。
对比能力和响应特征,提示与预期不一致的情况。
使用可比较输入观察异常变化,避免把正常随机性直接判定为篡改。
仅在已授权测试环境使用无真实权限的测试凭证,不使用企业生产秘密。
保存可获得的来源和调用信息,说明哪些环节无法独立验证。
把准入、监测和复测组织成明确流程,并由企业确认后调整运行策略。
确定需求和测试标准,完成初始评估。
按照批准的频率观察资源表现与异常。
告警后复测,确认是否需要隔离资源。
将经审核的检测结论用于 Route Engine 候选资源和路由规则。
提供目标模型、使用场景与关心的指标,一起确定测试对象、方法和报告范围。
模型资源信息、目标任务、允许的测试方式与时间窗口。
测试方案、报告结构和可支持的决策范围。