Graylog の Terraform を CI/CDで実行する

December 6, 2018 · 6 min read

Shunsuke Suzuki

Platform Engineer / OSS Developer / Go / Terraform

以前 Graylog を Terraform で管理する記事を書きました。

https://suzuki-shunsuke.github.io/graylog-terraform/

今回はそれを CI/CD で実行できるようにした話です。

ただし、今回の内容は Graylog に限らず Terraform を CI/CD で実行する方法として使えると思います。

今回実現したのは以下のことです。

PR時にテストをする
plan/* tag を push すると terraform plan が実行される
apply/* tag を push すると terraform apply が実行され、tfstate がコミット、プッシュされる

ソースコード

https://github.com/suzuki-shunsuke/example/tree/master/graylog-terraform に置いておきました。

CI/CD用の user, role を作成する

まずは role を作成します。

resource "graylog_role" "terraform" {
  name        = "terraform"
  description = "terraform"

  permissions = [
    "dashboards:*",
    "indexsets:*",
    "inputs:*",
    "roles:*",
    "streams:*",
    "users:*",
  ]
}

permission は terraform で管理するリソースのみ付与しますが、それでも結構強い権限を付与するので取扱に注意してください。

よりちゃんと権限管理するのであれば project ごとに role, user を分けるという手もありそうですが、そうすると管理も大変そうです。

次に user を作成します。

resource "graylog_user" "terraform" {
  username  = "terraform"
  email     = "terraform@example.com"
  full_name = "terraform"

  roles = [
    "terraform",
    "Reader",
  ]
}

Reader か Admin は必須らしいのでReaderを付与しています。

http://docs.graylog.org/en/2.5/pages/users_and_roles/permission_system.html

Every user needs to at least have the standard “Reader” permissions but those do not provide any access to data or maintenance functionalities.

次にこのユーザーの token を発行します。

http://docs.graylog.org/en/2.5/pages/configuration/rest_api.html#creating-and-using-access-token

$ curl -u <username>:<password> -H 'Accept: application/json' -X POST 'https://graylog.example.com/api/users/<username>/tokens/<tokenname>?pretty=true'

発行したトークンを CI/CD にクレデンシャルとしてセットします。やり方は利用するCI/CDによって変わります。

以降は drone ci という CI/CD プラットフォームを前提に書きますが、 travis ci や circle ci, jenkins など他のCI/CDでも考え方は一緒だと思います。

.drone.yml は以下のようになります。

---
pipeline:
  envsubst:
    image: suzukishunsuke/alpine-envsubst:0.1.0
    commands:
    - envsubst < terraform.tfvars.tpl > terraform.tfvars
    secrets:
    - source: terraform_token_prod
      target: graylog_auth_name
    when:
      event: tag
  plan:
    image: &terraform_image "suzukishunsuke/terraform-graylog:0.1.2"
    commands:
    - terraform init
    - terraform validate
    - terraform fmt -check
    - terraform plan
    when:
      event: tag
      ref: refs/tags/plan/*
  apply:
    image: *terraform_image
    commands:
    - terraform init
    - terraform validate
    - terraform plan
    - terraform fmt -check
    - terraform apply -auto-approve
    when:
      event: tag
      ref: refs/tags/apply/*
  git:
    image: plugins/git
    commands:
    - sh drone_pipeline_commands/git.sh
    when:
      event: tag
      ref: refs/tags/apply/*
  validate:
    image: *terraform_image
    environment:
    - "TF_VAR_auth_name=dummy"
    - "TF_VAR_auth_password=token"
    - "TF_VAR_web_endpoint_uri=https://graylog.example.com/api"
    commands:
    - terraform init
    - terraform validate
    - terraform fmt -check
    when:
      event: pull_request

まずは terraform を実行するための Docker Image を用意しました。

https://hub.docker.com/r/suzukishunsuke/terraform-graylog/

PR時のテストでは terraform validate と terraform fmt を実行します。

  validate:
    image: *terraform_image
    environment:
    - "TF_VAR_auth_name=dummy"
    - "TF_VAR_auth_password=token"
    - "TF_VAR_web_endpoint_uri=https://graylog.example.com/api"
    commands:
    - terraform init
    - terraform validate
    - terraform fmt -check
    when:
      event: pull_request

TF_VAR_ で始まるのが terraform の変数です。

https://www.terraform.io/docs/configuration/variables.html#environment-variables

token は適当な文字列をセットしてください。PR時には実際にgraylog の API を呼ばないので適当なので問題ありません。

次に plan/* と tag を push すると terraform plan が実行されます。この結果を見て terraform apply を実行します。

これは drone の secrets の都合なのですが、secrets の環境変数は全部大文字になってしまうため TF_VAR_auth_name という環境変数をセットできません。そのため envsubst を使って terraform.tfvars に token を書き込んでいます。

  envsubst:
    image: suzukishunsuke/alpine-envsubst:0.1.0
    commands:
    - envsubst < terraform.tfvars.tpl > terraform.tfvars
    secrets:
    - source: terraform_token_prod
      target: graylog_auth_name
    when:
      event: tag

terraform.tfvars.tpl はこんな感じです。

web_endpoint_uri = "https://graylog.example.com/api"
auth_name = "$GRAYLOG_AUTH_NAME"
auth_password = "token"

plan を実行する step です。

  plan:
    image: &terraform_image "suzukishunsuke/terraform-graylog:0.1.2"
    commands:
    - terraform init
    - terraform validate
    - terraform fmt -check
    - terraform plan
    when:
      event: tag
      ref: refs/tags/plan/*

apply/* と tag を push すると terraform apply が実行されます。

  apply:
    image: *terraform_image
    commands:
    - terraform init
    - terraform validate
    - terraform plan
    - terraform fmt -check
    - terraform apply -auto-approve
    when:
      event: tag
      ref: refs/tags/apply/*

terraform.tfstate をコミット, プッシュします。

  git:
    image: plugins/git
    commands:
    - sh drone_pipeline_commands/git.sh
    when:
      event: tag
      ref: refs/tags/apply/*

drone_pipeline_commands/git.sh はこんな感じです。

git status --porcelain || exit 1
if `git diff --exit-code --quiet terraform.tfstate`; then
  echo "terraform.tfstate isn't changed"
  exit 0
else
  git config user.name drone
  git config user.email drone@example.com
  git add . || exit 1
  git commit -m "build: commit by drone" || exit 1
  git push origin HEAD:master || exit 1
fi

terraform.tfstate に変化があった場合のみコミット・プッシュするようにしています。この辺のやり方はもっとうまいやり方があるかもしれません (自分のシェルスクリプト力が低いため)。

terraform plan の -detailed-exitcode オプションを使うのが良い気がします。

  -detailed-exitcode  Return detailed exit codes when the command exits. This
                      will change the meaning of exit codes to:
                      0 - Succeeded, diff is empty (no changes)
                      1 - Errored
                      2 - Succeeded, there is a diff

以上 Graylog の Terraform を CI/CD で実行する方法を紹介しました。 Graylog に限らず、 Terraform を CI/CD で実行する方法として使えると思うので参考になれば幸いです。

ソースコード​

CI/CD用の user, role を作成する​

ソースコード

CI/CD用の user, role を作成する