Google Cloud データ基盤コース / Chapter 03
S3 → GCS転送 — 初回ロードと差分同期を分けて、取り込みを運用する
Chapter 03 で何を学び、次の章へ何を渡すのかを整理するページです。
取り込み境界を固定する
認証を二方向に考える
全量から差分へ移る
01
取り込み境界を固定する
S3を直接分析せず、GCSに原本を集める。
Storage Transfer Serviceはソースと宛先、スケジュールをジョブとして保持する。
転送先のバケットとパス設計が、後段の自動化の入力契約になる。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
02
認証を二方向に考える
転送サービスが「読む権限」と「書く権限」を持つ必要がある。
S3側の認証情報とGCS側のサービスエージェント権限を混同しない。
広すぎる権限ではなく、対象バケットと必要操作に絞る。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
03
全量から差分へ移る
一度だけの全量転送と、定期的な差分転送を役割で分ける。
最初の成功後は、スケジュール・対象パス・転送結果を運用対象にする。
データ到着をイベントで受ける次章へ、確実な入力を渡す。
- この章の入力・出力を言葉で説明できるようにする。
- 権限、品質、運用のどれが境界になるかを確認する。
TAKEAWAY
この章を終えたら
- S3 → GCS転送 — 初回ロードと差分同期を分けて、取り込みを運用するは、サービス操作ではなく責任境界を学ぶ章である。
- 次の章では、この章が渡すデータや設計判断を実装へ進める。
- 手順の成功と、利用者に届ける価値の両方を確認する。