/tags/fluentd/ Recent content in Fluentd on LIFELOG Hugo -- gohugo.io ja © 2026 0222-nnn Sat, 05 Sep 2026 00:00:03 +0900 /blog/20260905_terraform_gcp_advanced_gke_cloud_logging_format/ Sat, 05 Sep 2026 00:00:03 +0900 /blog/20260905_terraform_gcp_advanced_gke_cloud_logging_format/ <h2 class="relative group">概要 <div id="概要" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 ltr:-left-6 rtl:-right-6 not-prose group-hover:opacity-100"> <a class="group-hover:text-primary-300 dark:group-hover:text-neutral-700" style="text-decoration-line: none !important;" href="#%e6%a6%82%e8%a6%81" aria-label="アンカー">#</a> </span> </h2> <p>構造化ログをCloud Loggingに送りたいとき、Fluentdをサイドカーに置く構成があります。GKEでそれが要るのかを確かめました。</p> <p>さらに、<code>fluent.conf</code>に書いた<code>tag</code>や<code>record_transformer</code>が、Cloud Logging上のどのフィールドになるのかも対応が分かりません。サイドカーを入れたのに期待したキーで検索できない、という状態になりがちです。</p> <p>実際に測ってみると、<strong>GKEの収集エージェントが既にJSONを解釈していました。</strong> アプリが<strong>標準出力に1行JSONを書く</strong>なら、サイドカーは要りません。しかも挟み方を誤ると、逆に構造を失います。</p> <p><strong>ファイルに書く場合は別です。</strong> GKEの標準収集が拾うのはコンテナの標準出力と標準エラーなので、ファイル出力を届けるには何かが要ります。</p> <p>対象読者は、GKEでPodを動かしたことがあり、Cloud Loggingでログを見たことがある人です。Kubernetesの入門は扱いません。</p> <p>Log Routerによる転送、Log-based metrics、Autopilotクラスタは扱いません。</p> <h2 class="relative group">検証すること <div id="検証すること" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 ltr:-left-6 rtl:-right-6 not-prose group-hover:opacity-100"> <a class="group-hover:text-primary-300 dark:group-hover:text-neutral-700" style="text-decoration-line: none !important;" href="#%e6%a4%9c%e8%a8%bc%e3%81%99%e3%82%8b%e3%81%93%e3%81%a8" aria-label="アンカー">#</a> </span> </h2> <ul> <li><strong>素のテキストとJSONで、入るフィールドが変わるか</strong></li> <li><strong>構造化ログにFluentdサイドカーは必要か</strong></li> <li><code>fluent.conf</code>の設定がCloud Loggingのどのフィールドになるか</li> <li>スタックトレースが1エントリにまとまるか</li> </ul> <h2 class="relative group">前提環境 <div id="前提環境" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 ltr:-left-6 rtl:-right-6 not-prose group-hover:opacity-100"> <a class="group-hover:text-primary-300 dark:group-hover:text-neutral-700" style="text-decoration-line: none !important;" href="#%e5%89%8d%e6%8f%90%e7%92%b0%e5%a2%83" aria-label="アンカー">#</a> </span> </h2> <ul> <li>Google Cloud CLI、Terraform</li> <li>Billingが有効な検証用Google Cloud Project</li> <li>GKE、Compute Engineを操作できるGoogleアカウント</li> <li>検証時のバージョン：Terraform 1.14.5、google 7.46.0、GKE 1.35.7-gke.1027000、fluentd v1.16-debian-1</li> </ul> <h2 class="relative group">使用するTerraformコード <div id="使用するterraformコード" class="anchor"></div> <span class="absolute top-0 w-6 transition-opacity opacity-0 ltr:-left-6 rtl:-right-6 not-prose group-hover:opacity-100"> <a class="group-hover:text-primary-300 dark:group-hover:text-neutral-700" style="text-decoration-line: none !important;" href="#%e4%bd%bf%e7%94%a8%e3%81%99%e3%82%8bterraform%e3%82%b3%e3%83%bc%e3%83%89" aria-label="アンカー">#</a> </span> </h2> <ul> <li><a href="https://github.com/tech-0222/terraform-gcp-examples/tree/main/Advanced-Examples/24-gke-fluentd-log-format" target="_blank">Advanced-Examples/24-gke-fluentd-log-format</a></li> </ul> <p>READMEの手順でTerraformを適用し、<code>k8s/</code>配下の4つのマニフェストを当てます。<strong>クラスタはプライベートエンドポイント構成なので、以下の<code>kubectl</code>は踏み台VMから実行します。</strong></p>