Google Cloud データ基盤コース / Chapter 13

データ基盤コースの総括 — 取り込みから監視までを一つの運用系として結ぶ

Chapter 13 で何を学び、次の章へ何を渡すのかを整理するページです。

一本のデータ経路として振り返る
再現可能な基盤にする
運用の終わりまで設計する
01

一本のデータ経路として振り返る

サービス名の暗記ではなく、データが価値になるまでを追う。

S3からGCSへ届き、イベントで整列され、外部テーブルとdbtで分析用モデルになる。

共有とBIは出口、Workflowsと監視はその出口を信頼できる状態に保つ。
一本のデータ経路として振り返るの概念図
左から右へ追い、最初に固定すべき入力・責任の境界を読む。
02

再現可能な基盤にする

画面操作だけで終わらせず、構成をコードへ寄せる。

Terraformは作成物と権限の差分を見える化し、環境を再構築しやすくする。

ただしデプロイ頻度が高い関数コードなど、アプリ側で管理する境界も分けて考える。
再現可能な基盤にするの概念図
中央の区切りを見て、変換・権限・品質の担当がどこで変わるかを読む。
03

運用の終わりまで設計する

完成とは、止め方と異常時の戻り方も分かる状態である。

日次転送、Scheduler、通知チャネル、アラートポリシーを棚卸しして不要時に止める。

次の改善は、利用者の問いと実際の障害・コストから選ぶ。
運用の終わりまで設計するの概念図
終点から逆にたどり、次の章へ渡す成果物と運用確認点を読む。
TAKEAWAY

この章を終えたら