Skip to main content

Graylog の Terraform を CI/CDで実行する

· 6 min read
Shunsuke Suzuki

以前 Graylog を Terraform で管理する記事を書きました。

https://suzuki-shunsuke.github.io/graylog-terraform/

今回はそれを CI/CD で実行できるようにした話です。

ただし、今回の内容は Graylog に限らず Terraform を CI/CD で実行する方法として使えると思います。

今回実現したのは以下のことです。

  • PR時にテストをする
  • plan/* tag を push すると terraform plan が実行される
  • apply/* tag を push すると terraform apply が実行され、tfstate がコミット、プッシュされる

ソースコード

https://github.com/suzuki-shunsuke/example/tree/master/graylog-terraform に置いておきました。

CI/CD用の user, role を作成する

まずは role を作成します。

resource "graylog_role" "terraform" {
name = "terraform"
description = "terraform"

permissions = [
"dashboards:*",
"indexsets:*",
"inputs:*",
"roles:*",
"streams:*",
"users:*",
]
}

permission は terraform で管理するリソースのみ付与しますが、 それでも結構強い権限を付与するので取扱に注意してください。

よりちゃんと権限管理するのであれば project ごとに role, user を分けるという手もありそうですが、そうすると管理も大変そうです。

次に user を作成します。

resource "graylog_user" "terraform" {
username = "terraform"
email = "terraform@example.com"
full_name = "terraform"

roles = [
"terraform",
"Reader",
]
}

Reader か Admin は必須らしいのでReaderを付与しています。

http://docs.graylog.org/en/2.5/pages/users_and_roles/permission_system.html

Every user needs to at least have the standard “Reader” permissions but those do not provide any access to data or maintenance functionalities.

次にこのユーザーの token を発行します。

http://docs.graylog.org/en/2.5/pages/configuration/rest_api.html#creating-and-using-access-token

$ curl -u <username>:<password> -H 'Accept: application/json' -X POST 'https://graylog.example.com/api/users/<username>/tokens/<tokenname>?pretty=true'

発行したトークンを CI/CD にクレデンシャルとしてセットします。 やり方は利用するCI/CDによって変わります。

以降は drone ci という CI/CD プラットフォームを前提に書きますが、 travis ci や circle ci, jenkins など他のCI/CDでも考え方は一緒だと思います。

.drone.yml は 以下のようになります。

---
pipeline:
envsubst:
image: suzukishunsuke/alpine-envsubst:0.1.0
commands:
- envsubst < terraform.tfvars.tpl > terraform.tfvars
secrets:
- source: terraform_token_prod
target: graylog_auth_name
when:
event: tag
plan:
image: &terraform_image "suzukishunsuke/terraform-graylog:0.1.2"
commands:
- terraform init
- terraform validate
- terraform fmt -check
- terraform plan
when:
event: tag
ref: refs/tags/plan/*
apply:
image: *terraform_image
commands:
- terraform init
- terraform validate
- terraform plan
- terraform fmt -check
- terraform apply -auto-approve
when:
event: tag
ref: refs/tags/apply/*
git:
image: plugins/git
commands:
- sh drone_pipeline_commands/git.sh
when:
event: tag
ref: refs/tags/apply/*
validate:
image: *terraform_image
environment:
- "TF_VAR_auth_name=dummy"
- "TF_VAR_auth_password=token"
- "TF_VAR_web_endpoint_uri=https://graylog.example.com/api"
commands:
- terraform init
- terraform validate
- terraform fmt -check
when:
event: pull_request

まずは terraform を実行するための Docker Image を用意しました。

https://hub.docker.com/r/suzukishunsuke/terraform-graylog/

PR時のテストでは terraform validate と terraform fmt を実行します。

  validate:
image: *terraform_image
environment:
- "TF_VAR_auth_name=dummy"
- "TF_VAR_auth_password=token"
- "TF_VAR_web_endpoint_uri=https://graylog.example.com/api"
commands:
- terraform init
- terraform validate
- terraform fmt -check
when:
event: pull_request

TF_VAR_ で始まるのが terraform の変数です。

https://www.terraform.io/docs/configuration/variables.html#environment-variables

token は適当な文字列をセットしてください。PR時には実際にgraylog の API を呼ばないので適当なので問題ありません。

次に plan/* と tag を push すると terraform plan が実行されます。 この結果を見て terraform apply を実行します。

これは drone の secrets の都合なのですが、secrets の環境変数は全部大文字になってしまうため TF_VAR_auth_name という環境変数をセットできません。そのため envsubst を使って terraform.tfvars に token を書き込んでいます。

  envsubst:
image: suzukishunsuke/alpine-envsubst:0.1.0
commands:
- envsubst < terraform.tfvars.tpl > terraform.tfvars
secrets:
- source: terraform_token_prod
target: graylog_auth_name
when:
event: tag

terraform.tfvars.tpl はこんな感じです。

web_endpoint_uri = "https://graylog.example.com/api"
auth_name = "$GRAYLOG_AUTH_NAME"
auth_password = "token"

plan を実行する step です。

  plan:
image: &terraform_image "suzukishunsuke/terraform-graylog:0.1.2"
commands:
- terraform init
- terraform validate
- terraform fmt -check
- terraform plan
when:
event: tag
ref: refs/tags/plan/*

apply/* と tag を push すると terraform apply が実行されます。

  apply:
image: *terraform_image
commands:
- terraform init
- terraform validate
- terraform plan
- terraform fmt -check
- terraform apply -auto-approve
when:
event: tag
ref: refs/tags/apply/*

terraform.tfstate をコミット, プッシュします。

  git:
image: plugins/git
commands:
- sh drone_pipeline_commands/git.sh
when:
event: tag
ref: refs/tags/apply/*

drone_pipeline_commands/git.sh はこんな感じです。

git status --porcelain || exit 1
if `git diff --exit-code --quiet terraform.tfstate`; then
echo "terraform.tfstate isn't changed"
exit 0
else
git config user.name drone
git config user.email drone@example.com
git add . || exit 1
git commit -m "build: commit by drone" || exit 1
git push origin HEAD:master || exit 1
fi

terraform.tfstate に変化があった場合のみ コミット・プッシュするようにしています。 この辺のやり方はもっとうまいやり方があるかもしれません (自分のシェルスクリプト力が低いため)。

terraform plan-detailed-exitcode オプションを使うのが良い気がします。

  -detailed-exitcode  Return detailed exit codes when the command exits. This
will change the meaning of exit codes to:
0 - Succeeded, diff is empty (no changes)
1 - Errored
2 - Succeeded, there is a diff

以上 Graylog の Terraform を CI/CD で実行する方法を紹介しました。 Graylog に限らず、 Terraform を CI/CD で実行する方法として使えると思うので参考になれば幸いです。