AWS分析サービスの全体像
分析の仕事を「データを準備する」「意味や場所を管理する」「問い合わせて集計する」に分けます。Redshift・Athena・Glueの役割は重なる部分もあるため、名称だけで排他的な三択と考えないことが大切です。
この単元で学ぶこと
- 分析と業務更新の目的を区別する
- Redshift・Athena・Glueと取込み・BIの中心的役割を説明する
- 準備・カタログ・問い合わせの流れを組み立てる
本文解説
1. 業務処理と分析 注文を一件ずつ確定する処理と、一年分の売上を地域・商品別に集計する処理ではアクセスの範囲が違います。分析では多数の行や複数のデータ源を使い、傾向を調べます。業務DBの全てを同じ分析サービスへ無条件に置き換えるのではなく、利用目的を分けて設計します。
2. データウェアハウス RedshiftはSQLで大規模な分析を行うマネージドなデータウェアハウスです。複数システムのデータを整理して売上分析等へ使う構成で比較します。利用者が資源を選ぶProvisionedと、容量管理を軽減するServerlessがあります。Redshiftは必ず固定クラスタを管理するものだという旧い説明へ限定しません。 Redshiftには外部S3データ等を問い合わせる機能もあり、事前に全量を取り込む方式だけではありません。
3. データへ問い合わせる AthenaはS3上のデータ等へSQLで問い合わせる用途に使います。例えばS3へ保存したアクセスログを、一時的な調査で集計する例です。Serverlessなので利用者がSQL実行用サーバーを管理せず始められます。現行にはSparkの利用等もあり、全機能をSQLだけに限定しない一方、本教材の中心は基本のS3 SQL分析です。
4. データを整える Glueはデータの検出、準備、変換、移動、統合を担うサービスです。CSVの列名や日付形式を揃える、分析しやすい形式へ変換する等の処理をジョブとして実行します。元データにどんな業務上の誤りがあるかを全て自動推測するわけではなく、変換や品質の条件を利用者が定めます。
5. カタログと実データ Glue Data Catalogはデータの構造や場所等のメタデータを管理します。クローラーで対象データの構造を調べ、カタログへ登録する使い方があります。カタログにテーブルが表示されることと、データ本体が別の保存先へ移動したこと、利用者へ読取り権限が付いたことは同じではありません。
6. 取込みから可視化まで クリックやログが連続して届く場合、Kinesis Data Streamsはレコードを収集し、処理するアプリへ渡すストリーム基盤です。日次ファイルを待つ方式と区別します。集計後はAmazon Quick Sightでデータ源へ接続し、図表やダッシュボードを共有できます。旧QuickSightは現行のAmazon Quick内のBI機能として案内されます。取込みと可視化の役割を分け、その間にGlueの準備やAthena・Redshiftの分析を必要に応じ組み合わせます。
7. 品質と許可 分析結果は入力データの重複、欠損、単位の違いに影響されます。例えば円とドルを同じ金額列として足すと、SQLが成功しても業務上誤った結果です。保存先、カタログ、クエリ実行の権限を設計し、個人情報の範囲や結果ファイルの保護も確認します。
8. 費用と選定 問い合わせ頻度、データ量、同時利用、変換の必要性、許容時間を整理します。AthenaのSQLスキャン量、Redshiftの計算・保存、Glueの処理資源やカタログ等、各方式の料金条件を比較します。Serverlessという語を無料や全作業不要と読み替えず、実行と保存の範囲を確認します。
図解
重要ポイント
- 分析基盤と業務更新の目的を分ける。
- Glueのカタログとデータ本体を区別する。
- 三サービスは組み合わせて利用できる。
間違えやすい点
- クローラーの成功を全データ変換や品質保証と考える。
- SQLが成功すれば業務上の数値も正しいと断定する。
用語解説
- データウェアハウス
- 分析向けに複数のデータ等を蓄積・利用する基盤。
- ETL
- データを抽出し、変換し、保存先へロードする処理。
- メタデータ
- データの場所や列の構造等、データを説明する情報。
- クローラー
- データ源を調べ、構造等をカタログへ登録する仕組み。
- ストリーミングデータ
- ログやクリック等、連続して発生・到着するレコード。
- ダッシュボード
- 複数の指標や図表をまとめて業務状況を確認する画面。
関連教材
参考資料
教材データに登録された参考リンクです。リンク先の内容や更新日は提供元でご確認ください。
- https://docs.aws.amazon.com/redshift/latest/mgmt/welcome.html
- https://docs.aws.amazon.com/redshift/latest/mgmt/serverless-whatis.html
- https://docs.aws.amazon.com/athena/latest/ug/what-is.html
- https://docs.aws.amazon.com/glue/latest/dg/what-is-glue.html
- https://docs.aws.amazon.com/redshift/latest/dg/c-spectrum-overview.html
- https://docs.aws.amazon.com/redshift/latest/dg/c_columnar_storage_disk_mem_mgmnt.html
- https://docs.aws.amazon.com/athena/latest/ug/partitions.html
- https://aws.amazon.com/athena/pricing/
- https://docs.aws.amazon.com/glue/latest/dg/components-overview.html
- https://docs.aws.amazon.com/streams/latest/dev/introduction.html
- https://docs.aws.amazon.com/quick/latest/userguide/what-is.html
確認問題の出題・採点や学習履歴の保存にはログインが必要です。