Управление политиками безопасности с помощью Kyverno

Kyverno — это приложение для управления политиками безопасности в кластере Managed Kubernetes. Руководство поможет вам развернуть Kyverno, а также настроить и проверить работу политик безопасности.

Чтобы начать работу с Kyverno:

1. Подготовьте виртуальную машину — на нее будут установлены утилиты для работы с приложением Kyverno.

2. Установите Kyverno в кластер Managed Kubernetes.

3. Создайте политики безопасности.

4. Проверьте работу политик безопасности.

5. (опционально) Установите дополнительные компоненты Kyverno:

   • Reports Server — компонент, позволяющий хранить отчеты о работе политик во внешней базе данных.
   • Policy Reporter — веб-интерфейс для визуализации, фильтрации и анализа результатов работы политик.

6. (опционально) Изучите сценарии работы с политиками безопасности.

1. Создайте сервисный аккаунт с именем sa-k8s и ролью registry.puller — он понадобится для работы группы узлов Managed Kubernetes, а также для авторизации в Artifact Registry.

2. Создайте API-ключ для сервисного аккаунта sa-k8s. Сохраните значение API-ключа.

3. Создайте кластер Managed Kubernetes и группу узлов для него. При создании группы используйте сервисный аккаунт sa-k8s.

4. Создайте NAT-шлюз для подсети, в которой будет развернут кластер Managed Kubernetes.

5. Создайте виртуальную машину в той же сети, где развернут кластер Managed Kubernetes.

Для работы с Kyverno установите набор утилит на виртуальную машину:

1. Подключитесь к ВМ по SSH.

2. Установите и настройте утилиту MWS CLI:

   1. Установите утилиту.
   2. Инициализируйте профиль.

3. Установите Helm.

4. Установите утилиту командной строки kubectl.

5. Получите kubeconfig:

   1
   mws mk8s get-kubeconfig <имя кластера>

6. Убедитесь, что кластер доступен:

   1
   kubectl cluster-info

   Если конфигурация настроена правильно, вы получите такой ответ:

   1
   Kubernetes control plane is running at https://<IP-адрес кластера>
   2
   KubeDNS is running at https://<IP-адрес кластера>/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

Приложение Kyverno можно развернуть двумя способами:

• Стандартная установка — приложение и его компоненты будут развернуты в одном экземпляре. Этот вариант установки подойдет для тестовых сред.
• Режим высокой доступности — каждый компонент приложения будет развернут в нескольких экземплярах на нескольких подах. Такая установка обеспечит отказоустойчивость Kyverno.

Для тестирования установите Kyverno в режиме стандартной установки. В дальнейшем уже установленное приложение можно обновить до версии с высокой доступностью.

Чтобы установить Kyverno:

1. Аутентифицируйтесь в Artifact Registry:

   1
   helm registry login -u apikey -p <API-ключ> registry.mwsapis.ru

   Значение параметра -u apikey предустановлено, изменять его не нужно. Укажите только значение для API-ключа.

2. Скачайте Helm-чарт kyverno на виртуальную машину:

   1
   helm pull oci://registry.mwsapis.ru/mws-mk8s-images/customer/charts/kyverno \
   2
     --version 3.7.1 \
   3
     --untar

3. Установите приложение одним из способов:

   • Стандартная установка
   • Режим высокой доступности
   • Обновление до версии с высокой доступностью

   1. Установите Kyverno:

      1
      helm install kyverno ./kyverno/ \
      2
        -n kyverno \
      3
        --create-namespace

   2. Убедитесь, что приложение успешно развернуто:

      1
      kubectl get pods -n kyverno

      Ожидаемый результат:

      1
      NAME                                             READY   STATUS    RESTARTS   AGE
      2
      kyverno-admission-controller-67778dd76c-vgn5h    1/1     Running   0          28s
      3
      kyverno-background-controller-848b659869-vjtr5   1/1     Running   0          28s
      4
      kyverno-cleanup-controller-9979c9cd-b59bz        1/1     Running   0          28s
      5
      kyverno-reports-controller-5dff874846-pfscw      1/1     Running   0          28s

   1. Установите Kyverno, указав в конфигурации количество реплик каждого компонента приложения:

      1
      helm install kyverno ./kyverno/ \
      2
        -n kyverno \
      3
        --create-namespace \
      4
        --set admissionController.replicas=3 \
      5
        --set backgroundController.replicas=3 \
      6
        --set cleanupController.replicas=2 \
      7
        --set reportsController.replicas=2

      Примечание

      Минимальное количество реплик для режима высокой доступности — 2.

   2. Убедитесь, что приложение успешно развернуто:

      1
      kubectl get pods -n kyverno

      Ожидаемый результат

      1
      NAME                                             READY   STATUS    RESTARTS   AGE
      2
      kyverno-admission-controller-67778dd76c-6s98j    1/1     Running   0          51s
      3
      kyverno-admission-controller-67778dd76c-hsmzn    1/1     Running   0          51s
      4
      kyverno-admission-controller-67778dd76c-tmcs5    1/1     Running   0          51s
      5
      kyverno-background-controller-848b659869-7sjhw   1/1     Running   0          51s
      6
      kyverno-background-controller-848b659869-8mkrr   1/1     Running   0          51s
      7
      kyverno-background-controller-848b659869-c42js   1/1     Running   0          51s
      8
      kyverno-cleanup-controller-9979c9cd-fdp4c        1/1     Running   0          51s
      9
      kyverno-cleanup-controller-9979c9cd-jhp2k        1/1     Running   0          51s
      10
      kyverno-reports-controller-5dff874846-hhdsk      1/1     Running   0          51s
      11
      kyverno-reports-controller-5dff874846-k8jn7      1/1     Running   0          51s

   1. Обновите уже установленную стандартную инсталляцию Kyverno, указав в конфигурации количество реплик каждого компонента приложения:

      1
      helm upgrade --reuse-values kyverno ./kyverno/ \
      2
        -n kyverno \
      3
        --create-namespace \
      4
        --set admissionController.replicas=3 \
      5
        --set backgroundController.replicas=3 \
      6
        --set cleanupController.replicas=2 \
      7
        --set reportsController.replicas=2

      Примечание

      Минимальное количество реплик для режима высокой доступности — 2.

   2. Убедитесь, что приложение успешно развернуто:

      1
      kubectl get pods -n kyverno

      Ожидаемый результат

      1
      NAME                                             READY   STATUS      RESTARTS   AGE
      2
      kyverno-admission-controller-67778dd76c-74nn4    1/1     Running     0          100s
      3
      kyverno-admission-controller-67778dd76c-g8vj2    1/1     Running     0          7m47s
      4
      kyverno-admission-controller-67778dd76c-wrc52    1/1     Running     0          100s
      5
      kyverno-background-controller-848b659869-2kcff   1/1     Running     0          100s
      6
      kyverno-background-controller-848b659869-w5p4j   1/1     Running     0          100s
      7
      kyverno-background-controller-848b659869-xmlb4   1/1     Running     0          7m47s
      8
      kyverno-cleanup-controller-9979c9cd-56txw        1/1     Running     0          100s
      9
      kyverno-cleanup-controller-9979c9cd-kz58p        1/1     Running     0          7m47s
      10
      kyverno-migrate-resources-w58jr                  0/1     Completed   0          98s
      11
      kyverno-reports-controller-5dff874846-bt62n      1/1     Running     0          100s
      12
      kyverno-reports-controller-5dff874846-qbnww      1/1     Running     0          7m47s

Для проверки работы Kyverno создайте две политики безопасности:

• MutatingPolicy с именем add-default-resources — политика проверяет, установлены ли запросы на ресурсы (requests) для новых приложений. Если запросы не установлены, она добавляет в параметры приложения ресурсы по умолчанию.
• ValidatingPolicy с именем block-large-images — политика запрещает создание приложений, размер которых превышает установленное значение. В примере это 50 МБ.

Чтобы установить политики:

1. Создайте файл add-default-resources.yaml.

   Содержимое файла

   1
   apiVersion: policies.kyverno.io/v1alpha1
   2
   kind: MutatingPolicy
   3
   metadata:
   4
     name: add-default-resources
   5
   spec:
   6
     autogen:
   7
       podControllers:
   8
         controllers:
   9
           - deployments
   10
           - cronjobs
   11
           - jobs
   12
           - statefulsets
   13
           - daemonsets
   14
     evaluation:
   15
       mutateExisting:
   16
         enabled: false
   17
       admission:
   18
         enabled: true
   19
     matchConstraints:
   20
       resourceRules:
   21
         - apiGroups:
   22
             - ""
   23
           apiVersions:
   24
             - v1
   25
           operations:
   26
             - CREATE
   27
             - UPDATE
   28
           resources:
   29
             - pods
   30
     mutations:
   31
       - patchType: ApplyConfiguration
   32
         applyConfiguration:
   33
           expression: |-
   34
             Object{
   35
               spec: Object.spec{
   36
                 containers: object.spec.containers.map(c,
   37
                   Object.spec.containers{
   38
                     name: c.name,
   39
                     resources: Object.spec.containers.resources{
   40
                       requests: Object.spec.containers.resources.requests{
   41
                         cpu: has(c.resources) && has(c.resources.requests) && has(c.resources.requests.cpu)
   42
                              ? c.resources.requests.cpu
   43
                              : "100m",
   44
                         memory: has(c.resources) && has(c.resources.requests) && has(c.resources.requests.memory)
   45
                               ? c.resources.requests.memory
   46
                               : "100Mi"
   47
                       }
   48
                     }
   49
                   }
   50
                 )
   51
               }
   52
             }

2. Создайте файл block-large-images.yaml.

   Содержимое файла

   1
   apiVersion: policies.kyverno.io/v1alpha1
   2
   kind: ValidatingPolicy
   3
   metadata:
   4
     name: block-large-images
   5
     annotations:
   6
       policies.kyverno.io/title: Block Large Images
   7
       policies.kyverno.io/category: Other
   8
       policies.kyverno.io/severity: medium
   9
       policies.kyverno.io/minversion: 1.15.0
   10
       policies.kyverno.io/subject: Pod
   11
       policies.kyverno.io/description: Pods which run containers of very large image size take longer to pull and require more space to store. A user may either inadvertently or purposefully name an image which is unusually large to disrupt operations. This policy checks the size of every container image and blocks if it is over 50Mb.
   12
   spec:
   13
     evaluation:
   14
       background:
   15
         enabled: true
   16
     validationActions:
   17
       - Deny
   18
     variables:
   19
       - name: allContainers
   20
         expression: object.spec.containers + object.spec.?initContainers.orValue([]) + object.spec.?ephemeralContainers.orValue([])
   21
       - name: maxSizeBytes
   22
         expression: "52428800"
   23
     matchConstraints:
   24
       resourceRules:
   25
         - resources:
   26
             - pods
   27
           operations:
   28
             - CREATE
   29
             - UPDATE
   30
           apiGroups:
   31
             - ""
   32
           apiVersions:
   33
             - v1
   34
     validations:
   35
       - message: images with size greater than 50Mb not allowed
   36
         expression: variables.allContainers.all(container, image.GetMetadata(container.image).manifest.layers.map(layer, layer.size).sum() <= variables.maxSizeBytes)

3. Установите политики:

   1
   kubectl apply -f add-default-resources.yaml && \
   2
   kubectl apply -f block-large-images.yaml

4. Убедитесь, что политики успешно созданы:

   1
   kubectl get validatingpolicy,mutatingpolicy

   Ожидаемый результат:

   1
   NAME                                                      AGE     READY
   2
   validatingpolicy.policies.kyverno.io/block-large-images   2m37s   true
   3
   
   4
   NAME                                                       AGE     READY
   5
   mutatingpolicy.policies.kyverno.io/add-default-resources   2m43s   true

Для проверки разверните тестовые приложения, нарушающие правила политик:

1. Создайте файл pod-with-no-requests.yaml с манифестом пода, для которого не указаны запросы ресурсов (requests):

   1
   apiVersion: v1
   2
   kind: Pod
   3
   metadata:
   4
     name: busybox
   5
   spec:
   6
     containers:
   7
       - name: busybox
   8
         image: busybox:latest
   9
         command: ["echo"]
   10
         args: ["OK, requests added by kyverno"]
   11
     restartPolicy: Never

2. Создайте под:

   1
   kubectl apply -f pod-with-no-requests.yaml

3. Убедитесь, что для пода установлены ресурсы по умолчанию:

   1
   kubectl get pod busybox -o yaml | grep -A 4 resources

   Ожидаемый результат:

   1
   resources:
   2
     requests:
   3
      cpu: 100m
   4
      memory: 100Mi

   Политика add-default-resources установила для пода запросы ресурсов по умолчанию.

4. Попытайтесь создать под, размеры которого превышают 50 МБ:

   1
   cat <<EOF | kubectl apply -f -
   2
   apiVersion: v1
   3
   kind: Pod
   4
   metadata:
   5
     name: large-python-pod
   6
   spec:
   7
     containers:
   8
       - name: python-app
   9
         image: python:latest
   10
         command: ["python"]
   11
         args: ["-c", "print('hello from python')"]
   12
     restartPolicy: Never
   13
   EOF

   Создание пода будет заблокировано политикой block-large-images:

   1
   Error from server: error when creating "STDIN": admission webhook "vpol.validate.kyverno.svc-fail" denied the request: Policy block-large-images failed: images with size greater than 50Mb not allowed

Установите дополнительные компоненты Kyverno:

• Reports Server — компонент, решающий проблему масштабирования при работе с большим количеством политик. По умолчанию Kyverno хранит отчеты о применении политик во внутренней базе данных кластера Kubernetes (etcd). При высокой нагрузке это может снижать производительность кластера. Reports Server выгружает отчеты во внешнюю базу данных, например в Managed PostgreSQL. Это позволяет уменьшить нагрузку на etcd и значительно повысить масштабируемость. Подробнее о Reports Server в документации Kyverno.

• Policy Reporter — веб-интерфейс для визуализации, фильтрации и анализа результатов работы политик. Также Policy Reporter позволяет выгружать данные о работе политик во внешние системы, например в Grafana или ElasticSearch. Подробнее о Policy Reporter в документации Kyverno.

1. Создайте кластер Managed PostgreSQL подходящей вам конфигурации в той же подсети, где расположен кластер Managed Kubernetes.

2. Создайте базу данных Managed PostgreSQL. При создании базы создайте нового пользователя и задайте ему пароль.

3. Сохраните параметры для подключения к базе данных:

   • Внутренний IP-адрес Primary-эндпоинта кластера. Чтобы узнать этот IP-адрес, получите информацию о кластере.
   • Имя базы данных.
   • Имя и пароль пользователя.

4. Вернитесь в SSH-сессию виртуальной машины.

5. Политика, блокирующая создание больших приложений, может помешать развертыванию Reports Server. Удалите созданную ранее политику:

   1
   kubectl delete -f block-large-images.yaml

6. Скачайте Helm-чарт Reports Server:

   1
   helm pull oci://registry.mwsapis.ru/mws-mk8s-images/customer/charts/reports-server \
   2
     --version 0.1.6 \
   3
     --untar

7. Создайте пространство имен для развертывания Reports Server:

   1
   kubectl create namespace reports-server

8. Создайте секрет, содержащий параметры подключения к БД Managed PostgreSQL:

   1
    kubectl create secret generic postgres-auth-reportserver -n reports-server \
   2
     --from-literal=host='<внутренний IP-адрес Primary-эндпоинта кластера Managed PostgreSQL>' \
   3
     --from-literal=port='5432' \
   4
     --from-literal=dbname='<имя БД Managed PostgreSQL>' \
   5
     --from-literal=username='<имя пользователя Managed PostgreSQL>' \
   6
     --from-literal=password='<пароль пользователя Managed PostgreSQL>'

9. Установите Reports Server:

   1
   helm install reports-server ./reports-server \
   2
     -n reports-server \
   3
     --set config.db.secretName=postgres-auth-reportserver

10. Убедитесь, что под приложения перешел в состояние Running:

    1
    kubectl get pods -n reports-server

11. Проверьте, что отчеты о срабатывании политик выгружаются в базу данных PostgreSQL:

    1. Создайте новую политику require-labels, которая будет отслеживать, есть ли у подов метка team:

       1
       kubectl apply -f - <<EOF
       2
       apiVersion: policies.kyverno.io/v1alpha1
       3
       kind: ValidatingPolicy
       4
       metadata:
       5
         name: require-labels
       6
       spec:
       7
         validationActions: ["Audit"]
       8
         matchConstraints:
       9
           resourceRules:
       10
             - apiGroups: [""]
       11
               apiVersions: ["v1"]
       12
               operations: ["CREATE", "UPDATE"]
       13
               resources: ["pods"]
       14
         validations:
       15
           - message: "The label 'team' is required."
       16
             expression: "has(object.metadata.labels) && has(object.metadata.labels.team)"
       17
       EOF

    2. Создайте тестовый под, который не содержит метку team:

       1
       kubectl run test-report-pod --image=nginx --restart=Never

    3. Подключитесь к базе данных кластера Managed PostgreSQL, используя полученные ранее параметры для подключения.

    4. Выполните запрос, который выведет информацию о срабатывании политики require-labels:

       1
       SELECT
       2
         report->'scope'->>'namespace' AS namespace,
       3
         report->'scope'->>'name' AS resource_name,
       4
         res->>'policy' AS policy_name,
       5
         res->>'result' AS result,
       6
         res->>'message' AS message
       7
       FROM policyreports,
       8
            jsonb_array_elements(report->'results') AS res
       9
       WHERE res->>'policy' = 'require-labels'
       10
       AND report->'scope'->>'name' = 'test-report-pod';

       Ожидаемый результат выборки:

       1
       namespace |  resource_name  |  policy_name   | result |            message
       2
       ----------+-----------------+----------------+--------+-------------------------------
       3
       default   | test-report-pod | require-labels | fail   | The label 'team' is required.
       4
       (1 row)

1. Скачайте Helm-чарт Policy Reporter:

   1
   helm pull oci://registry.mwsapis.ru/mws-mk8s-images/customer/charts/policy-reporter \
   2
     --version 3.7.3 \
   3
     --untar

2. Установите Policy Reporter:

   1
   helm install policy-reporter ./policy-reporter \
   2
     -n policy-reporter \
   3
     --create-namespace

3. Убедитесь, что поды приложения перешли в состояние Running:

   1
   kubectl get pods -n policy-reporter

   Ожидаемый результат:

   1
   NAME                                  READY   STATUS    RESTARTS   AGE
   2
   policy-reporter-6b7586b68c-v4vsp      1/1     Running   0          21s
   3
   policy-reporter-ui-774db9cb6b-gdmvg   1/1     Running   0          21s

4. Узнайте внутренний и внешний IP-адреса ВМ, запросив информацию о ней.

5. Создайте правило файрвола — оно потребуется для подключения к веб-интерфейсу Policy Reporter. Укажите следующие параметры правила:

   • Направление — Ingress.
   • Действие — Allow.
   • Источник трафика — 0.0.0.0/0 или внешний IP-адрес вашего локального компьютера.
   • Назначение трафика — внутренний IP-адрес виртуальной машины в нотации CIDR, например 192.168.0.12/32.
   • Протокол и порт — TCP:8081.

6. Создайте переадресацию порта для сервиса policy-reporter-ui на виртуальной машине:

   1
   kubectl port-forward service/policy-reporter-ui 8081:8080 -n policy-reporter --address 0.0.0.0

7. В браузере на локальном компьютере откройте ссылку http://<внешний IP-адрес ВМ>:8081. Откроется веб-интерфейс Policy Reporter.

• Изучите библиотеку политик Kyverno
• Создайте подходящую вам политику или адаптируйте уже существующую
• Протестируйте работу политики в «песочнице» Kyverno

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

1. Удалите кластер Managed Kubernetes.
2. Удалите кластер Managed PostgreSQL, если вы устанавливали Reports Server.
3. Удалите виртуальную машину.
4. Удалите NAT-шлюз.