Glueを理解する

Glueのカタログ、クローラー、変換ジョブを分けて理解します。データの場所と構造を知ること、実際に内容を変えること、業務上正しいことはそれぞれ別の確認です。

この単元で学ぶこと

カタログ・クローラー・ジョブの役割を説明する
ETLの流れと品質条件を判断する
権限・失敗・運用を確認する

本文解説

1. データを使える形へ Glueは複数のデータ源からデータを検出し、準備・変換・移動・統合するサービスです。例えば販売CSVと商品マスターを結び付け、分析用の出力を作ります。Serverlessな処理基盤を利用できますが、どんな変換が業務に正しいかは利用者が指定します。

2. Data Catalog Catalogにはデータベースやテーブルの定義、列、型、場所等のメタデータを保存します。図書館の目録が本の所在を示すように、データを理解し利用するための情報です。ただし目録という例えに頼らず、S3のデータ本体とカタログのレコードは別々に保護・管理することを確認します。

3. クローラークローラーは接続した対象のデータを調べ、スキーマ等を推定してCatalogへ反映します。新しいデータの把握に役立ちますが、型の推定が業務上望ましいかは確認します。金額が文字列であった場合、カタログへ文字列と登録できても、計算に必要な形式へ直したことにはなりません。

4. 変換ジョブジョブでは読取り、型や日付の変換、結合、出力等を定めます。ETLは抽出・変換・ロードの順、ELTはロード後に変換する考え方です。Glueはバッチだけでなくストリーミングの統合等も扱います。ここでは日別ファイルを整理する基本例で、変換規則を明示します。

5. 品質条件の例注文IDの重複を除く場合、同一注文の訂正なのか二重受信なのかによって残す行が変わります。欠損金額を全て0とすると売上を過少にする場合もあります。ルールを定め、件数や金額合計、欠損の扱いを検査し、ジョブの実行成功とデータの正しさを区別します。

6. パイプライン複数のジョブやクローラーは、スケジュールやイベント、依存関係を踏まえて実行します。入力の到着前に集計すると欠けた結果を作り得るため、どの処理の完了が次の開始条件かを決めます。再実行時に同じデータを二重に追加しないよう、出力の書き方も確認します。

7. 権限と接続ジョブの実行ロールには入力の読取り、出力の書込み、必要なカタログや暗号鍵等への権限を設定します。ジョブ作成者のコンソールが見えることと、実行時のロールがデータを読めることは別です。ネットワーク内のデータ源に接続する場合は経路や通信許可等も確認します。

8. 結果の利用と管理整えたデータはAthena、Redshift、機械学習等で利用できます。Glueは準備を担当し、可視化にはQuick Sight等を組み合わせることがあります。処理時間・資源・保存・Catalog等の適用料金を確認し、エラーや想定外の件数を監視します。必要な元データや復旧手順を残し、変換失敗へ備えます。

図解

構造を調べる仕事と内容を変える仕事 — カタログ登録だけではデータの変換や業務品質の確認は完了しません。

重要ポイント

クローラーは構造を検出し、ジョブはデータを変換する。
Catalogは実データ本体の保存先とは別。
処理成功と業務品質を分ける。

間違えやすい点

クローラーが成功したら全欠損や重複も修正済みとみなす。
再実行で同じ出力を二重追加する。

用語解説

スキーマ: 列や属性、型等のデータ構造の定義。
ジョブ: データの抽出・変換・出力等の処理を実行する単位。
パイプライン: 入力から準備・出力までの処理をつなぐ流れ。
実行ロール: 処理がAWS資源へアクセスする際に用いる権限の役割。

参考資料

教材データに登録された参考リンクです。リンク先の内容や更新日は提供元でご確認ください。

確認問題の出題・採点や学習履歴の保存にはログインが必要です。