Google Cloud データ基盤コース / Chapter 05
Bronze層の外部テーブル — GCSの原本をBigQueryから安全に読む
Chapter 05 で何を学び、次の章へ何を渡すのかを整理するページです。
Bronzeは原本の保管場所
接続に権限を集約する
外部テーブルを変換の起点にする
01
Bronzeは原本の保管場所
まず「変換前に近い状態」を残す。
GCSにはS3から転送され、パーティション化されたファイルが置かれる。
誤変換や新しい分析要求に対し、rawから再構築できることが価値になる。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
02
接続に権限を集約する
人の資格情報でGCSを読ませない。
BigQuery Connectionのサービスアカウントに、必要なGCS読取権限だけを付ける。
データセット権限とバケット権限は別の境界として考える。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
03
外部テーブルを変換の起点にする
外部テーブルはGCS上のファイルをSQLから見える形にする。
URIパターン、Hiveパーティション、スキーマが読み方を決める。
dbtのsourceとして宣言し、Silver層へ責任を渡す。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
TAKEAWAY
この章を終えたら
- Bronze層の外部テーブル — GCSの原本をBigQueryから安全に読むは、サービス操作ではなく責任境界を学ぶ章である。
- 次の章では、この章が渡すデータや設計判断を実装へ進める。
- 手順の成功と、利用者に届ける価値の両方を確認する。