Google Cloud データ基盤コース / Chapter 04
EventarcとCloud Run functions — 到着ファイルをHiveパーティションへ自動整列する
Chapter 04 で何を学び、次の章へ何を渡すのかを整理するページです。
イベントを入口にする
パスをデータの索引にする
運用できる関数にする
01
イベントを入口にする
GCSへのオブジェクト作成を処理開始の合図にする。
EventarcがイベントをCloud Run functionsへ渡し、関数は対象オブジェクトを特定する。
バケット名・オブジェクト名・イベント種別を入力契約として読む。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
02
パスをデータの索引にする
Hive形式のパーティションは、日付などをディレクトリ名で表す。
到着したファイルを year=YYYY/month=MM/day=DD のような規約へ整列する。
クエリ条件とパス規約が合うほど、読み取り範囲を絞りやすい。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
03
運用できる関数にする
一回成功するだけでは、パイプラインとして足りない。
重複イベント、途中失敗、権限不足を前提にログと再試行可能性を設計する。
後続の外部テーブルは、この整ったGCSパスを参照する。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
TAKEAWAY
この章を終えたら
- EventarcとCloud Run functions — 到着ファイルをHiveパーティションへ自動整列するは、サービス操作ではなく責任境界を学ぶ章である。
- 次の章では、この章が渡すデータや設計判断を実装へ進める。
- 手順の成功と、利用者に届ける価値の両方を確認する。