評価指標のモデル/活用判断

この単元で学ぶこと

• 混同行列から運用負担を求める
• 見逃しと誤警報の費用を比較する
• 評価集合の使い分けと指標の限界を説明する

本文解説

同じ100件で比較する 陽性20件、陰性80件の評価集合を使います。モデルAはTP16・FP8・FN4・TN72、BはTP18・FP18・FN2・TN62。どちらも実陽性20、実陰性80です。異なる集合で測った数値より、同じ条件での比較を優先します。 【前提】二値分類では陽性クラスを明示した対象とし、混同行列の数は件数。割合は指定がなければ小数ではなく％で答える。分母ゼロのケースは数値計算しない。

Aの計算 正解率（16＋72）÷100＝88％、適合率16÷24＝約66.7％、再現率16÷20＝80％です。24件の警報を調査すると真の陽性16件と誤警報8件が含まれ、4件を見逃します。割合を具体的な件数に戻して読みます。

Bの計算 正解率80％、適合率18÷36＝50％、再現率90％。Aより陽性を2件多く発見する代わりに、誤警報が10件増えます。警報を調べる担当者の人数や一件あたり作業時間を考えると、再現率だけを上げればよいとは限りません。

損失の重みを決める 見逃し一件の損失100、誤警報一件の対応費5という単位なら、Aの損失は4×100＋8×5＝440、Bは2×100＋18×5＝290です。この費用モデルではBが有利ですが、誤警報費を30に変えるとA640、B740でAが有利になります。

閾値変更の実例 スコア0.9の陽性、0.8の陰性、0.7の陽性、0.2の陰性があるとします。閾値0.85ならTP1・FP0で適合率100％、再現率50％。閾値0.65ならTP2・FP1で適合率約66.7％、再現率100％です。これは適合率低下の一例で、全データで必ず下がるという証明ではありません。

評価に使う集合 閾値やモデルの選択は検証集合で行い、選択後の最終性能を未使用のテスト集合で測ります。テスト成績を見て何度も閾値を選ぶと、テスト集合へ適応して最終値が楽観的になります。同じ利用者の重複や未来情報の混入にも注意します。

率だけでは消えるもの F1＝2TP÷（2TP＋FP＋FN）なのでTNは直接入りません。Aは32÷44≒0.727、Bは36÷56≒0.643。ここではAのF1が高くても、見逃し費用100・誤警報費5の損失ではBが有利でした。指標と最終業務目的は同じものとは限りません。

回帰モデルの比較 正解[10,10,10]に対し予測A[9,9,14]はMAE2、MSE6、予測B[8,8,12]はMAE2、MSE4です。MAEは同じでも大きな誤差を二乗で重く扱うMSEではBが良くなります。どの誤差を重視するかを先に決め、評価値を都合よく選び直さないことが大切です。

図解

重要ポイント

• 割合を誤警報・見逃しの件数へ戻す。
• モデル順位は費用の重みで変わり得る。
• テスト集合を閾値選択に繰り返し使わない。

間違えやすい点

• 高F1があらゆる業務の最小損失を意味するわけでない。
• 分母ゼロの適合率を無条件に100％としない。

用語解説

閾値

スコアから判定を決める境界。

検証集合

モデルや閾値などの選択に用いるデータ。

テスト集合

選択を終えた後の最終評価用に留保するデータ。

関連教材

• 評価指標を理解する
• 交差検証のモデル/活用判断