SageMaker AIと機械学習の工程を理解する
SageMaker AIの役割を、データ準備、学習、評価、配備、推論、運用の順に学びます。MLを一つのAPIの成功だけで評価せず、未知のデータで役立つか、費用と権限も含めて使えるかを考えます。
この単元で学ぶこと
- SageMaker AIのML工程を説明する
- 学習と評価のデータ・指標を区別する
- 配備後の推論・監視・費用・データ管理を説明する
本文解説
1. 独自モデルの開発 SageMaker AIはモデルの構築・学習・配備等を支援するマネージドサービスです。既成の画像認識API等で要件を満たせる場合と、独自の需要予測等を作る場合を比較します。既成サービスにもカスタム機能があるため、単純に独自性の有無だけで一つに決めず、必要な工程や制御の範囲を見ます。
2. データを準備する 売上予測なら過去の売上や条件を収集し、欠損、重複、単位、時刻等を確認します。教師あり学習では正解に当たる値やラベルを持つデータを使います。誤ったラベルや偏ったサンプルでは、基盤が管理されていても期待した品質にはなりません。どの情報を入力してよいか、アクセスと利用目的も整理します。
3. 学習でモデルを調整する 学習ジョブはデータとアルゴリズム等を使ってモデルを調整し、成果物を作ります。学習の実行環境の管理負担を減らせますが、データや評価指標、設定を選ぶ責任は残ります。ジョブがエラーなく終了したことと、精度や業務効果が十分であることを別に確認します。
4. 未知のデータを想定する 学習に使った同じデータだけで成績を確認すると、覚え込みに近いモデルでも良く見えることがあります。学習用と評価用のデータを適切に分け、調整と最終評価の目的も分けます。未来の情報を予測時点に使ってしまうなどのデータ漏えいにも注意します。試験では細かな統計手法より、未見データに対する確認の必要性を理解します。
5. 指標の意味を読む 100件中90件を正しく分類したなら正解率は90%ですが、重要な異常を見逃した件数はそれだけでは分かりません。正常が多いデータでは、正常と答えるだけでも高く見える場合があります。誤検出と見逃しの影響、用途別の誤差等を考えます。数値の高さだけで使ってよいモデルと結論しません。
6. 配備と推論 評価したモデルを利用可能な環境へ配備し、新しい入力に対して推論します。即時応答が必要な呼出しと、まとめて予測してよい仕事では、対応する推論方式を比較します。モデルを学習しただけでは利用者のアプリへ自動で組み込まれたことにはならず、入力形式、接続、権限、必要な応答時間を確認します。
7. 運用中の変化 販売対象や季節、利用者の傾向が変わると、学習時に良かったモデルの成績も変わる場合があります。推論のエラーや時間だけでなく、入力分布や得られる正解との比較等で品質を監視します。必要な再学習や更新を計画しますが、再学習すれば必ず改善するわけではなく、新旧を評価して配備します。
8. 現行名と費用・権限 旧MLサービスのSageMakerは現行SageMaker AIへ対応し、データ・分析・AIの統合基盤SageMakerはより広い名称です。開発環境、学習、推論、保存等の利用に応じた費用を確認します。使わない資源の停止・削除も管理し、学習データやモデル、結果のアクセス許可を設定します。マネージドという名称だけで無料・精度保証・権限不要とは考えません。
図解
重要ポイント
- 学習ジョブ成功とモデルの品質合格を分ける。
- 未見データと業務に合う指標で評価する。
- 配備後もデータと品質の変化を監視する。
間違えやすい点
- 同じ学習データへの高い正解率だけで一般化を証明する。
- 推論先を作ると学習データの権限設定が不要になると考える。
用語解説
- 教師あり学習
- 正解値やラベルのあるデータを使って入力と出力の関係を学ぶ方法。
- 過学習
- 学習データに適合しすぎ、新しいデータで性能が下がる状態。
- 配備
- モデルをアプリ等から利用できる実行環境へ配置する工程。
- データの変化
- 運用中の入力の性質が学習時の傾向から変わること。
関連教材
参考資料
教材データに登録された参考リンクです。リンク先の内容や更新日は提供元でご確認ください。
- https://docs.aws.amazon.com/sagemaker/latest/dg/whatis.html
- https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-mlconcepts.html
- https://docs.aws.amazon.com/lexv2/latest/dg/what-is.html
- https://docs.aws.amazon.com/lexv2/latest/dg/how-it-works.html
- https://docs.aws.amazon.com/rekognition/latest/dg/what-is.html
- https://docs.aws.amazon.com/textract/latest/dg/what-is.html
- https://docs.aws.amazon.com/transcribe/latest/dg/what-is.html
- https://docs.aws.amazon.com/polly/latest/dg/what-is.html
- https://docs.aws.amazon.com/comprehend/latest/dg/what-is.html
- https://docs.aws.amazon.com/translate/latest/dg/what-is.html
- https://docs.aws.amazon.com/bedrock/latest/userguide/what-is-bedrock.html
- https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-model-validation.html
- https://docs.aws.amazon.com/sagemaker/latest/dg/train-valid-curve.html
- https://docs.aws.amazon.com/sagemaker/latest/dg/train-model.html
確認問題の出題・採点や学習履歴の保存にはログインが必要です。