タスク成功率
基準を満たす件数を評価総数で割ります。部分完了や中止の扱いは事前に定めます。
品質と時間
正確性、完全性、根拠、開始から完了までの時間を評価します。
人の関与
修正、確認、補完の時間を記録し、必要な承認と失敗対応を分けます。
成功タスク単価
同じ評価群の総費用を成功件数で割り、失敗・再試行も含めます。人件費は統一した推計根拠がある場合のみ別途加えます。
計算できない場合
成功件数がゼロなら計算不可と理由を示し、費用ゼロや無限の利益として表示しません。
01 / 評価指標
成功した成果を測る、共通の基準を。
業務側と成功・品質条件を合意してから、時間、人の関与、費用を比較します。
03 / 評価方法
自動採点と業務確認を組み合わせる。
明確なサンプルと規則で基準をつくり、版の比較と実稼働の監視を行います。
テストセット
代表タスクを選び、難易度、入力版、許可資料、期待結果を記録します。
採点
業務規則、自動採点、人の抜き取り確認を組み合わせ、役割と限界を示します。
基準との比較
同じ業務・品質条件で、モデルや手順の版を比較します。
稼働後の監視
実業務の逸脱を観察し、悪化時は確認して評価セットを更新します。
04 / 改善レポート
問題の根拠を、検証できる提案に。
モデル、文脈、手順、人との協働を調整し、改善を測る方法も示します。
発見事項
特定工程、失敗原因、重複消費の根拠を関連付けます。
提案
モデル仕様、冗長な文脈、ツール工程、確認箇所を見直します。
期待する影響
固定率を前提にせず、品質、時間、費用の改善可能性を示します。
再検証
元の業務群と境界事例で検証し、変化と副作用を記録します。
05 / 改善サイクルと次の一歩
変更を、必ずタスクの成果に戻して評価する。
業務・基盤担当と案を確認し、手順やモデル方針を更新して効果を測ります。
X Worker
根拠に基づき、知識、スキル、分担、手順を改善します。
Route Engine
許可モデルと品質基準の範囲で振り分けを調整します。
企業側の確認
責任者が本番変更を承認し、版と復旧経路を保持します。