GitOps Operator を用いて以下のタスクを実施します。

Note	環境に応じて変数を代入するため Helm Charts (values.yaml) を用います。

• Namespace & Group のセクションで呼び出す Helm Charts (clusters/helper-proj-onboarding) は 以下のタスクを実施します。

  • 複数の Namespace (camelk-test0{0,1}) を作成する

  • グループ (sample-teams) を作成する

  • グループ (sample-teams) にユーザ (apple, banana) を追加する

  • グループ (sample-teams) に Namespace (camelk-test0{0,1}) に対する admin 権限を付与する

• Camel K Operator のセクションで呼び出す Helm Charts (clusters/helper-operator) は 以下のタスクを実施します。

  • Camel K Operator を指定の Namespace (camelk-test0{0,1}) にインストールする

  • Nexus の認証情報を定義する ConfigMap を作成する

  • IntegrationPlatform CR を作成する

• AMQ Streams Operator のセクションで呼び出す Helm Charts (clusters/helper-operator) は 以下のタスクを実施します。

  • Kafka Cluster をデプロイする Kafak CR と Kafaka Exporter でメトリクスを公開する ConfigMap を作成する clusters/helper-operator/templates/jobs/kafka.yaml

  • Prometheus でメトリクスを収集するための PodMonitor CR を作成する clusters/helper-operator/templates/jobs/strimzi-pod-monitor.yaml

  • Kafaka Cluster のユーザ (admin) を作成する KafakUser CR を作成する clusters/helper-operator/templates/jobs/kafkauser_admin.yaml

  • Kafaka Cluster のユーザ (system) を作成する KafakUser CR を作成する clusters/helper-operator/templates/jobs/kafkauser_system.yaml

  • Kafka Connect Cluster と Debezium Connector for Oracle をビルドするための ImageStream, KafakConnect CR, メトリクスを公開するための ConfigMap を作成する clusters/helper-operator/templates/jobs/kafkaconnect.yaml

  • Oracle DB に接続させる認証や定義を含む KafakConnector CR を作成する clusters/helper-operator/templates/jobs/kafkaconnector.yaml

Note	一つの ApplicationSet CR を作成して Namespace & Group と Camel K Operator を一度に実施する想定ではなく、まず Namespace & Group を実行する ApplicationSet CR を作成して Namespace やグループの作成が完了した後に Camel K Operator を実行する ApplicationSet CR を作成し、Camel-K Operator をインストールします。

• 製品ガイドに従い OpenShift GitOps Operator をインストールする

• GitOps Operator をインストール後に ArgoCD CR に以下の変更を加える

Note	コマンドを実行すると以下の Warning が出力されますが、argocd.argoproj.io/openshift-gitops configured が表示されれば設定は適用されています。

Note

Operator をインストール後に Custom Resource を作成する場合は Subscription CR を作成し Operator をインストールする → CRD が作成されるまで待つ → CR を作成する順序を意識する必要があります。 Annotation に Sync Phases and Waves に基づき Wave を Subscription (wave: 1) → IntegrationPlatform CR (wave: 2) の様にして順序関係を定義しても、Sync failed に記載するケースがおきるため Wave だけで解決はしません。 そのため Lua をベースに Subscription CR のステータス (status.state フィールド) が AtLatestKnown である場合に Argo CD が Application が Healthy であるとみなす様に ArgoCD CR に変更を加えます。Cf. Manage Kubernetes Operators with ArgoCD

• GitOps Operator の Service Account に IntegrationPlatform CR を edit する権限を付与する

Note

camelk_integrationplan.yaml で IntegrationPlatform CR に設定を加えるため、 Cluster Role (integrationplatforms.camel.apache.org-v1-edit) を GitOps Operator の Service Account に付与する必要があります。 ClusterRoleBinding CR を GitOps で適用すると複数の ApplictionSet を作成すると ClusterRoleBinding CR が複数の Application に共有され SharedResourceWarning が出力され Application のステータスは正常でも OutofSync が起き続けるため、事前に権限を付与することでリソースの競合を回避します。

Note	この時点では Camel K Operator をインストールしていないため、該当する Cluster Role も作成されておらず、Warning: role 'integrationplatforms.camel.apache.org-v1-edit' not found と出力されますが、そのまま進めます。

• GitOps Operator の Service Account に Kafka CR, KafkaUser CR, KafakaConnect CR, KafakaConnector CR を edit する権限を付与する

Note	IntegrationPlatform CR と同じ背景で GitOps Operator の Service Account に Kafka CR に設定を加えるため、Cluster Role (kafkas.kafka.strimzi.io-v1beta2-edit) を付与する必要があります。 その他に KafkaConnect CR, KafkaConnector CR, KafkaUser CR を作成するために関連する Cluster Role を付与します。

• Git Repository をクローンする

1. ApplicationSet CR を作成する

   oc apply -f ./applicationsets/namespace/applicationset.yaml

   Note	サンプルの tenant-projects/namespace/values.yaml を Main ブランチに配置しているため ApplicationSet CR を作成すると Application CR が生成され、Namespace などを作成する Helm Charts が実行されます。 そのためこの時点で camelk-test0{,1} Namespace が作成されます。

2. Branch を作成する

   export BRANCH=my-team
   git branch ${BRANCH}
   git checkout ${BRANCH}

3. サンプルから values.yaml を作成し必要な値を定義する

   cp -r tenant-projects/namespace/sample tenant-projects/namespace/${BRANCH}
   vim tenant-projects/namespace/${BRANCH}/values.yaml

   Note	Namespace, グループ名、ユーザ名を変更します。

   tenant-projects/namespace/sample/values.yaml

   link:tenant-projects/namespace/sample/values.yaml[role=include]

4. 変更をコミットし、Remote にプッシュする

   git add tenant-projects/${BRANCH}
   git commit tenant-projects/${BRANCH}
   git push -u origin ${BRANCH}

5. GitHub (https://github.com) で PR を作成し、マージする

   Note	エラーなどでマージした設定を修正する場合はローカルで変更をコミットし、Remote にプッシュした後、GitHub で PR をマージします。 ArgoCD は Git Repository (GitHub) にデフォルトで 3 分毎にポーリングし変更の有無をチェックします。 これは Argo CD の環境変数 ARGOCD_RECONCILIATION_TIMEOUT に基づきます。 ROSA (OCP) も同様です、詳細は Configure applications sync frequency on GitOps / ArgoCD on RHOCP4 を参照下さい。

6. Argo CD Web Console の URL を取得し WEB ブラウザからリンクを開く

   oc -n openshift-gitops get route openshift-gitops-server -ojsonpath='{.spec.host}{"\n"}'

   Example Output

   openshift-gitops-server-openshift-gitops.apps.rosa-lfqzn.thtb.p1.openshiftapps.com

   Note	OpenShift Web Console から Argo CD Web Console を開くこともできます。

   

7. Argo CD Web Console からアプリケーション (Application CR) の進捗を確認する

   

8. 該当する Application CR の Sync と Health ステータスが正常であることを確認する

   oc -n openshift-gitops get app

   Example Output

   NAME               SYNC STATUS   HEALTH STATUS
   namespace-sample   Synced        Healthy

   Note	少なくとも HEALTH STATUS が Healthy であれば Application CR が生成する Namespace やグループが作成されています。

9. Namespace (camelk-test0{0,1}) が作成されることを確認する

   oc get project -l argocd.argoproj.io/managed-by=openshift-gitops

   Example Output

   NAME            DISPLAY NAME   STATUS
   camelk-test00                  Active
   camelk-test01                  Active

10. グループ (sample-teams) にユーザ (apple, banana) を追加されることを確認する

    oc get group sample-teams

    Example Output

    NAME               USERS
    sample-teams       apple, banana

11. グループ (sample-teams) に Namespace (camelk-test0{0,1}) に対する admin 権限が付与されることを確認する

    oc -n camelk-test00 get rolebinding sample-teams -oyaml

    Example Output

    kind: RoleBinding
    ...
      namespace: camelk-test00
    ...
    subjects:
    - apiGroup: rbac.authorization.k8s.io
      kind: Group
      name: sample-teams

1. ApplicationSet CR を修正し、ディレクトリや Nexus の認証情報を定義する

   vim applicationsets/camelk/applicationset.yaml

   Note	ApplicationSet CR は GitHub にプッシュする必要はありません。 以下は diff の結果です、修正する箇所は # がコメントしている箇所が該当します。

   $ git diff applicationsets/camelk/applicationset.yaml
   diff --git a/applicationsets/camelk/applicationset.yaml b/applicationsets/camelk/applicationset.yaml
   index 80df157..d7bc022 100644
   --- a/applicationsets/camelk/applicationset.yaml
   +++ b/applicationsets/camelk/applicationset.yaml
   @@ -33,12 +33,11 @@ spec:
                - /tenant-projects/values-global.yaml
              parameters:
              - name: "nexus.username"
   -            value: <USERNAME>
   +            value: nexus # Nexus Repository Manager のユーザ名を指定する
              - name: "nexus.password"
   -            value: <PASSWORD>
   +            value: nexus # Nexus Repository Manager のパスワードを指定する
              - name: "nexus.mirror_url"
   -            value: <NEXUS_URL>
   +            value: http://nexusrepo-sonatype-nexus-service.dev-tool.svc.cluster.local:8081/repository/maven-public/ # Maven Repository (Nexus Repository Manager) の Kubernetes Service 経由の URL を指定する
          syncPolicy:
            automated:
              prune: false

   Note	ApplicationSet CR の以下の箇所に Nexus Repository Manager のユーザ名とパスワードを定義し、https://argo-cd.readthedocs.io/en/stable/user-guide/helm/#helm-parameters[Helm Parameters] を用いて定義してオーバーライドさせます。 values.yaml は GitHub にプッシュする必要があり values.yaml に認証情報を定義すると GitHub に格納されるためです。

2. ApplicationSet CR を作成する

   oc apply -f ./applicationsets/camelk/applicationset.yaml

   Note	サンプルの tenant-projects/camelk/sample/values.yaml を Main ブランチに配置しているため ApplicationSet CR を作成すると Application CR が生成され、Camel K Operator をインストールする Helm Charts が実行されます。 そのためこの時点で camelk-test0{,1} Namespace に Camel K Operator がインストールされます。

   

3. Branch を作成する

   export BRANCH=my-team
   git branch ${BRANCH}
   git checkout ${BRANCH}

4. サンプルから values.yaml を作成し必要な値を定義する

   cp -r tenant-projects/camelk/sample tenant-projects/camelk/${BRANCH}
   vim tenant-projects/camelk/${BRANCH}/values.yaml

   Note	主に Camel K Operator をインストールする namespace を修正します、設定例は以下のサンプルを参照下さい。

   tenant-projects/camelk/sample/values.yaml

   link:tenant-projects/camelk/sample/values.yaml[role=include]

5. 変更をコミットし、Remote にプッシュする

   git add tenant-projects/${BRANCH}
   git commit tenant-projects/${BRANCH}
   git push -u origin ${BRANCH}

6. GitHub で PR を作成し、マージする

   Note	PR をマージすると Argo CD が差分 (追加した values.yaml) を検出し、values.yaml に定義した Namespace に Camel K Operator をインストールします。

7. Argo CD Web Console からアプリケーション (Application CR) の進捗を確認する

   Note	Operator のインストールに要する時間は Namespace の作成するケースとは異なり数分かかるため、全体の相関や進捗を確認するには Web Console の方が便利です。 Application CR のステータスは Troubleshooting の手順で示している様に OpenShift CLI (oc get/describe app) からも確認することができますが、作成される API リソースの相関は表示されません。 以下は正常に完了した際の画像です。

   

正常に完了しない際は Troubleshooting の手順に従い調査します。

1. Secret を作成し、Oracle DB に接続させるためのユーザ名とパスワードを定義する

   export NAMESPACE=camelk-test00
   oc -n ${NAMESPACE} create secret generic oracle-credentials --from-literal=username=<USERNAME> --from-literal=password=<PASSWORD>

   Note

   ${NAMESPACE} に Debezium をデプロイする Namespace を指定します。 複数の Namespace に Debezium をデプロイする際は Namespace 毎に Secret を作成します。 この Secret は https://github.com/hashnao/gitops-practice/blob/main/clusters/helper-operator/templates/jobs/kafkaconnector.yaml [KafkaConnect CR] spec.config フィールドの database.user と database.password が参照します。

2. ApplicationSet CR を作成する

   oc apply -f ./applicationsets/amqs/applicationset.yaml

   Note

   サンプルの [tenant-projects/amqs/sample/values.yaml] を Main ブランチに配置しているため ApplicationSet CR を作成すると Application CR が生成され、AMQ Streams Operator をインストールする Helm Charts が実行され、camelk-test0{,1} Namespace に AMQ Streams Operator がインストールされます。 サンプルで利用する applicationset.yaml の概要は ApplicationSet (AMQ Streams Operator) を参照下さい。 以下は検証を目的に camelk-test00 Namespace だけを対象とした実行結果です。

   

   Note

   Kafka Cluster への認証はパスワード認証をベースとした SCRAM-SHA-512 authentication を利用します。 KafakUser CR を作成すると以下の Kafaka User とデフォルトで自動生成されたパスワードを含む Secret が作成されます。 Secret の命名規則は Prefix に kafkauser- がセットされ、その後ろに KafakUser CR の metadata.name フィールド (i.e. user-information) が付与されます。 KafkaConnect CR は認証にこのユーザ名と Secret 名をデフォルトで利用する様に設定しており、spec.authentication フィールドが該当します。

   $ oc get -n camelk-test00 secret kafkauser-user-information
   NAME                         TYPE     DATA   AGE
   kafkauser-user-information   Opaque   2      20h
   $ oc get -n camelk-test00 kafkauser user-information
   NAME               CLUSTER     AUTHENTICATION   AUTHORIZATION   READY
   user-information   api-infra   scram-sha-512    simple          True

3. Branch を作成する

   export BRANCH=my-team
   git branch ${BRANCH}
   git checkout ${BRANCH}

4. サンプルから values.yaml を作成し必要な値を定義する

   cp -r tenant-projects/amqs/sample tenant-projects/amqs/${BRANCH}
   vim tenant-projects/amqs/${BRANCH}/values.yaml

   Note	主に AMQ Streams Operator をインストールする namespace を修正します、設定例は以下のサンプルを参照下さい。

   tenant-projects/amqs/sample/values.yaml

   link:tenant-projects/amqs/sample/values.yaml[role=include]

5. 変更をコミットし、Remote にプッシュする

   git add tenant-projects/${BRANCH}
   git commit tenant-projects/${BRANCH}
   git push -u origin ${BRANCH}

6. GitHub で PR を作成し、マージする

   Note	PR をマージすると Argo CD が差分 (追加した values.yaml) を検出し、values.yaml に定義した Namespace に AMQ Streams Operator をインストールします。

7. Argo CD Web Console からアプリケーション (Application CR) の進捗を確認する