交差検証のモデル/活用判断

モデルの精度が高いという報告を受けたとき、数字を見る前に「何を未知として評価したか」を確かめます。顧客予測、患者画像、時系列予測の三つの事例で、評価設計を点検します。

この単元で学ぶこと

利用場面に対応する分割単位を選べる
評価パイプラインの漏洩箇所を特定できる
複数モデルの検証成績を過大解釈せず比較できる

本文解説

事例A：顧客の翌月退会予測過去の月次履歴から、月末時点で翌月の退会を予測します。データには顧客ID、当月利用回数、翌月の退会結果があります。翌月退会結果は正解ラベルとして使えますが、予測用の特徴量には入れません。予測時点で分からない結果を入力して得た高精度は運用を再現していません。

時点と顧客を考える運用対象が既存顧客の将来なら、過去月で学習し後の月で評価する設計が候補です。一方、未知の新規顧客に一般化する目的なら、顧客単位の分離も重要です。どちらか一つの分割が全用途に最適なのではなく、予測時点、重複する対象、実際の入力条件を先に決めます。

事例B：患者画像 100人の患者から一人10枚、計1,000枚の画像を集めました。画像をランダムに分けると同じ患者の画像が学習側と検証側に入り、患者固有の特徴を利用できることがあります。未知患者への性能を見るなら、患者80人分を訓練、20人分を検証とするなど、患者ごとに分けます。

前処理の漏洩を修正担当者は1,000枚全体で特徴の平均を求めてから分割していました。修正後は訓練側だけで平均を計算し、その平均で訓練・検証の両方を変換します。検証側を検証側自身の平均で別に標準化するのも、学習時と入力変換をそろえるという原則に反します。

事例C：モデル選択候補Aの5回スコアは0.80、0.82、0.84、0.81、0.83で平均0.82。候補Bは0.70、0.95、0.75、0.90、0.80で平均も0.82です。平均だけなら同じですが、Bの分割間の変動は大きくなっています。これだけでAが必ず将来も優れるとは断定せず、分割の性質や誤りの内容を点検します。

尺度と不均衡全体の99％が陰性なら、全て陰性と予測しても正解率99％です。しかし陽性を見つける目的には役立たないことがあります。陽性の見逃しが重要なら再現率、誤警報も重要なら適合率など、目的に沿った尺度を交差検証で計算します。層化分割は評価尺度選択の代わりにはなりません。

最終テストの保護設定を検証で選び、開発データで再学習した後にテストします。テストが期待より悪かったからといって、同じテストを見ながら改善を繰り返し、最後の高得点だけを独立評価として報告してはいけません。改善を続けた場合はその事実を明示し、新しい評価データなどで再評価します。

判断演習報告に「5分割で平均95％」とだけ書かれていたら、群の分け方、対象の重複、前処理の学習範囲、尺度、各回の変動、テストの利用履歴を確かめます。交差検証という手続名だけでデータ漏洩や代表性の問題が自動的に解消するわけではありません。

図解

重要ポイント

未知の時点か未知の対象かを最初に定義。
前処理は訓練で学び検証には適用だけ。
不均衡では正解率だけで十分とは限らない。
最終テストを設定選択へ繰り返し使わない。

間違えやすい点

IDを削除すれば患者間漏洩が全て消えると考えない。
平均精度が同じなら変動も同じと考えない。
99％の正解率だけで実用性を認めない。

用語解説

再現率: 実際の陽性のうち陽性と予測できた割合。
適合率: 陽性と予測したうち実際に陽性であった割合。
不均衡データ: クラスごとの件数に大きな偏りがあるデータ。

参考資料

教材データに登録された参考リンクです。リンク先の内容や更新日は提供元でご確認ください。

確認問題の出題・採点や学習履歴の保存にはログインが必要です。