AWS 道場コース / 第6章 AWS Batch

AWS Batchでジョブ実行基盤を作る

大量・長時間・キューイングが必要なバッチを、Job definition・Queue・Compute environmentの組み合わせで運用する。

TL;DR — この章で学ぶこと

  1. Job definitionは実行する内容
  2. Job Queueは順番と優先度
  3. Compute environmentは実行場所を用意する

01Job definitionは実行する内容

何がこの仕組みの入口になるか? — Job definitionは実行する内容を、構成図の矢印から読み解く。

Job definitionは実行する内容の図解
図の読み方: 左から入力、中央が判断・制御、右が到達先。矢印は処理または検証が進む向きを示す。

何を学ぶか

実務では 何がこの仕組みの入口になるか? を先に確認する。設定値だけでなく、入力と出力の境界を明確にする。

02Job Queueは順番と優先度

どのサービスが責任を持つか? — Job Queueは順番と優先度を、構成図の矢印から読み解く。

Job Queueは順番と優先度の図解
図の読み方: 左から入力、中央が判断・制御、右が到達先。矢印は処理または検証が進む向きを示す。

何を学ぶか

実務では どのサービスが責任を持つか? を先に確認する。設定値だけでなく、入力と出力の境界を明確にする。

03Compute environmentは実行場所を用意する

失敗時にはどこへ戻る/進むか? — Compute environmentは実行場所を用意するを、構成図の矢印から読み解く。

Compute environmentは実行場所を用意するの図解
図の読み方: 左から入力、中央が判断・制御、右が到達先。矢印は処理または検証が進む向きを示す。

何を学ぶか

実務では 失敗時にはどこへ戻る/進むか? を先に確認する。設定値だけでなく、入力と出力の境界を明確にする。

結論

  1. Job definitionにはコンテナイメージ、vCPU・メモリ、コマンド、ロールを定義する。定義のrevisionを意識して再現可能にする。
  2. Job Queueは投入された仕事を待たせ、優先度と接続先のCompute environmentを持つ。APIの常駐サービスとは目的が違う。
  3. Compute environmentが必要な容量を確保し、Jobを実行する。EventBridge Schedulerから起動する場合も、ジョブの失敗・再試行・終了を監視する。