評価指標を理解する
正解率が高くても、見つけたい異常を一件も検出できていないことがあります。混同行列から適合率・再現率を求め、目的に合う指標を選びます。
この単元で学ぶこと
- TP・FP・FN・TNを分類する
- 正解率・適合率・再現率・F1を計算する
- 不均衡と閾値の影響を説明する
本文解説
何を陽性とするか 迷惑メール検出なら「迷惑メール」を陽性にするなど、まず対象クラスを定めます。陽性は良い結果、陰性は悪い結果という意味ではありません。予測が陽性か陰性かと、実際の正解が陽性か陰性かを交差させて四つに分けます。 【前提】二値分類では陽性クラスを明示した対象とし、混同行列の数は件数。割合は指定がなければ小数ではなく％で答える。分母ゼロのケースは数値計算しない。
混同行列の四区分 TPは実際も予測も陽性、FPは実際は陰性なのに陽性と予測、FNは実際は陽性なのに陰性と予測、TNは両方陰性です。異常検出ならFPは誤警報、FNは見逃しに当たります。表の行列の配置は資料により違うため、位置だけで覚えず軸ラベルを読みます。
正解率 Accuracyは（TP＋TN）÷全件数です。TP30、FP10、FN20、TN140なら全200件、正解170件で85％です。全体をどれだけ正しく当てたかが分かりますが、少数派の陽性を見つけた割合を単独では表しません。
適合率 PrecisionはTP÷（TP＋FP）。陽性と予測した中で本当に陽性だった割合です。先の例は30÷40＝75％。警報が出た後の確認作業が高コストなら、誤警報をどれだけ含むかを見るために役立ちます。
再現率 RecallはTP÷（TP＋FN）。実際の陽性のうち発見できた割合です。先の例は30÷50＝60％。見逃しを減らしたい業務で重視します。適合率と再現率は分母の集合が異なり、一方が高いから他方も高いとは限りません。
F1と不均衡 F1は適合率Pと再現率Rの調和平均2PR÷（P＋R）です。0.75と0.60なら約0.667。陰性990件、陽性10件を全件陰性と予測すれば正解率99％ですが再現率0％。F1もTNを直接含まないので、これ一つで全側面を評価するものではありません。
閾値の役割 陽性スコアが閾値以上なら陽性とする場合、同じスコア群で閾値を下げると陽性予測集合が広がります。TP・FPは減らずFNは増えないため再現率は低下しません。ただし増えた集合の構成によって適合率は変わるので、必ず低下すると断定はできません。
回帰との違いと演習 数値予測ではMAE（誤差絶対値の平均）やMSE（誤差二乗の平均）を用います。正解[2,4]、予測[3,2]なら絶対誤差[1,2]でMAE1.5、二乗誤差[1,4]でMSE2.5です。分類の指標と回帰の指標を、目的変数と誤りのコストに合わせて選びます。
図解
重要ポイント
- 適合率は予測陽性、再現率は実際の陽性が分母。
- 不均衡データの正解率だけでは見逃しを評価できない。
- 閾値と業務上の誤りコストを併せて検討する。
間違えやすい点
- FPとFNは実際・予測の軸で確認する。
- F1をPとRの算術平均にしない。
用語解説
- 混同行列
- 正解と予測の組合せごとに件数を集計する表。
- 適合率
- 陽性予測のうち真の陽性の割合。
- 再現率
- 実際の陽性のうち陽性と予測できた割合。
- F1
- 適合率と再現率の調和平均。
関連教材
参考資料
教材データに登録された参考リンクです。リンク先の内容や更新日は提供元でご確認ください。
確認問題の出題・採点や学習履歴の保存にはログインが必要です。