Kubernetes 応用コース / Chapter 10

Fluent Bitによるクラスタログ収集

各Nodeからコンテナログを集め、CloudWatchへ転送するDaemonSetの考え方を学ぶ。

  1. Fluent BitはNodeごとに配置してコンテナログを収集する。
  2. DaemonSetはNode追加時にも同じ収集Podを配置する。
  3. ログの保存先・保持期間・検索単位を運用前に決める。

01 DaemonSetでNodeごとのログを読む

各NodeのFluent Bit Podがコンテナ標準出力へ近い場所で収集する。

Fluent Bit DaemonSetの配置
アプリを増やしても収集設定をアプリへ埋め込まない。

02 input/filter/outputを分けて整形・送信する

読む、metadata付与・除外、送るの3段を個別に確認する。

Fluent Bitの処理段階
フィルタが原因でも入力や送信先と混同しない。

03 ログ欠損をNodeから送信先まで追う

DaemonSet、mount、agent log、filter、送信先権限を順に確認する。

Fluent Bitログ欠損の切り分け
同じ時刻とmetadataで送信先まで照合する。

章のまとめ

  1. Fluent BitはNodeごとに配置してコンテナログを収集する。
  2. DaemonSetはNode追加時にも同じ収集Podを配置する。
  3. ログの保存先・保持期間・検索単位を運用前に決める。