Google Cloud データ基盤コース / Chapter 06

dbt入門 — SQLをモデル・依存関係・テストとして運用する

Chapter 06 で何を学び、次の章へ何を渡すのかを整理するページです。

モデルをコードとして置く
データの来歴を宣言する
品質と更新方式を選ぶ
01

モデルをコードとして置く

dbt_project.ymlとmodels配下が変換の作業場になる。

SQLを小さなモデルに分け、refで依存先を明示する。

Gitのdiffで変更をレビューできることが、属人的なSQL運用を変える。
モデルをコードとして置くの概念図
左から右へ追い、最初に固定すべき入力・責任の境界を読む。
02

データの来歴を宣言する

sources.ymlはBronzeなどの入力テーブルを名前付きで定義する。

sourceとrefを使うと、入力からmartまでの系譜をdbtが把握できる。

docs生成は、実装と説明のずれを減らす。
データの来歴を宣言するの概念図
中央の区切りを見て、変換・権限・品質の担当がどこで変わるかを読む。
03

品質と更新方式を選ぶ

view、table、incremental、snapshotはデータの性質に合わせて使う。

dbt testでnullや一意性などの前提を実行可能な仕様にする。

buildが通ることは「依存・変換・検査」が一巡した証拠になる。
品質と更新方式を選ぶの概念図
終点から逆にたどり、次の章へ渡す成果物と運用確認点を読む。
TAKEAWAY

この章を終えたら