Настройка автоматического масштабирования

Вы можете развернуть несколько механизмов автоматического масштабирования в кластере Managed Kubernetes:

Создайте Cluster Autoscaler (CA), чтобы динамически изменять количество узлов в группе.
Создайте Horizontal Pod Autoscaler (HPA), чтобы изменять количество подов на узле в зависимости от нагрузки.
Создайте Vertical Pod Autoscaler (VPA), чтобы автоматически выделять дополнительные ресурсы vCPU и RAM для подов.

Перед развертыванием изучите рекомендации по планированию автоматического масштабирования, а также ограничения по совместимости для Vertical Pod Autoscaler.

Для проведения нагрузочного тестирования механизмов автоматического масштабирования обратитесь к инструкции.

Создать Cluster Autoscaler

Веб-консоль
MWS CLI
Terraform
API

Укажите параметры Cluster Autoscaler при создании или изменении группы узлов:

В блоке Масштабирование включите опцию Автомасштабирование.
Укажите настройки автоматического масштабирования:
- Минимальное число узлов — количество узлов группы при минимальной нагрузке.
- Максимальное число узлов — максимально допустимое количество узлов в группе.
Примените изменения.

Укажите параметры Cluster Autoscaler при создании или изменении группы узлов.

При создании новой группы узлов:

1
mws mk8s node-group create <имя группы узлов> \
2
  --cluster-name <имя кластера> \
3
  --zone <зона доступности — ru-central1-a или ru-central1-b> \
4
  --subnet-ref projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети> \
5
  --vm-type-ref compute/vmTypes/<тип ВМ — например, gen-2-4> \
6
  --image-storage-size <размер хранилища для контейнеров — например, 10Gb> \
7
  --scale-autoscaling-min <минимальное количество узлов — например, 1> \  # [!code highlight]
8
  --scale-autoscaling-max <максимальное количество узлов — например, 5> \  # [!code highlight]
9
  --version-control-version <версия Kubernetes — например, v1.31.13-mws.1> \
10
  --version-control-maintenance-window-weekly-days <день недели — например, MONDAY> \
11
  --version-control-maintenance-window-weekly-hour <время начала сервисного окна — от 0 до 23> \
12
  --rollout-strategy-max-surge <максимальный шаг изменения числа узлов в группе> \
13
  --rollout-strategy-max-unavailable <максимальное число недоступных узлов при изменении числа узлов в группе> \
14
  --service-account-ref <имя сервисного аккаунта с ролью `registry.puller`>

При изменении существующей группы узлов:

1
mws mk8s node-group update <имя группы узлов> \
2
  --cluster-name <имя кластера> \
3
  --scale-autoscaling-min <минимальное количество узлов — например, 1> \
4
  --scale-autoscaling-max <максимальное количество узлов — например, 5> \

Если у вас не установлен Terraform, установите его.

Укажите параметры Cluster Autoscaler при создании или изменении группы узлов. Для этого добавьте в конфигурационный файл создания кластера блок параметров scale:

1
    resource "mws_mk8s_node_group" "<имя группы узлов>" {
2
    cluster_name    =  <имя кластера>
3
    node_group_name = "<имя группы узлов>"
4

5
    ...
6

7
    scale = {
8
      autoscaling = {
9
        min = <минимальное количество узлов — например, 1>
10
        max = <максимальное количество узлов — например, 5>
11
      }
12
    }
13

14
    ...

Проверьте конфигурационный файл на наличие синтаксических ошибок:
bash
```
1
terraform validate
```
Если ошибок нет, вы получите следующее сообщение:
bash
```
1
Success! The configuration is valid.
```
Выполните команду:
bash
```
1
terraform plan
```
Terraform проверит конфигурационные файлы, сопоставит описание желаемого состояния облачной инфраструктуры с фактическим и укажет, какие операции с ресурсами будут выполнены.
Примените конфигурацию:
bash
```
1
terraform apply
```
Подтвердите выполнение операций: введите слово yes и нажмите Enter.

Во время создания ресурсов Terraform будет выводить краткие сообщения о выполняемых операциях. Проверить, что ресурсы созданы и настроены корректно, можно в веб-консоли.

Укажите параметры Cluster Autoscaler при создании или изменении группы узлов. Для этого добавьте в JSON-объект создания группы узлов блок параметров scale:

1
{
2
  "metadata": {
3
    "name": "<имя группы узлов>"
4
  },
5
  "spec": {
6
    "zone": "<зона доступности — ru-central1-a или ru-central1-b>",
7
    "subnet": {
8
      "ref": "projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>"
9
    },
10
    "vmType": {
11
      "ref": "compute/vmTypes/<тип ВМ — например, gen-2-4>"
12
    },
13
    "imageStorageSize": "<размер хранилища для контейнеров — например, 10Gb>",
14
    "scale": {
15
      "autoscaling": {
16
        "min": <минимальное количество узлов — например, 1>,
17
        "max": <максимальное количество узлов — например, 5>
18
      }
19
    },
20
    "versionControl": {
21
      "version": "<версия Kubernetes — например, v1.31.13-mws.1>",
22
      "maintenanceWindow": {
23
        "weekly": {
24
          "days": ["<день недели — например, MONDAY>"],
25
          "hour": <время начала сервисного окна — от 0 до 23>
26
        }
27
      }
28
    },
29
    "rolloutStrategy": {
30
      "maxSurge": <максимальный шаг изменения числа узлов в группе>,
31
      "maxUnavailable": <максимальное число недоступных узлов при изменении числа узлов в группе>
32
    },
33
    "serviceAccount": {
34
      "ref": "projects/<имя проекта>/serviceAccounts/<имя сервисного аккаунта>"
35
    }
36
  }
37
}

Развернуть Metrics Server

Metrics Server необходим для работы Horizontal Pod Autoscaler и Vertical Pod Autoscaler. Этот компонент собирает данные о потреблении ресурсов (vCPU и RAM) с узлов и подов кластера, и передает их в системы автоматического масштабирования.

Чтобы установить Metrics Server:

Скачайте установочный манифест:

1
wget https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml

Откройте файл components.yaml и удалите символ # перед строкой --kubelet-insecure-tls. Это безопасно: Metrics Server находится в том же кластере, что и системы автоматического масштабирования, и не требует использования TLS-сертификатов для работы.
Создайте Metrics Server:
bash
```
1
kubectl apply -f components.yaml
```
Убедитесь, что сервер метрик создан и работает:
bash
```
1
kubectl get apiservice | grep metrics
```
Проверьте, что сервер поставляет метрики:
bash
```
1
kubectl top pods
```

Создать Horizontal Pod Autoscaler

Установите Metrics Server, если он еще не развернут в вашем кластере.
Создайте Horizontal Pod Autoscaler для вашего приложения:
bash
```
1
kubectl autoscale deployment/<имя приложения> --cpu-percent=20 --min=1 --max=5
```
Здесь:
- --cpu-percent — желаемая нагрузка пода на vCPU, в процентах;
- --min — минимальное количество подов;
- --max — максимальное количество подов.
Убедитесь, что Horizontal Pod Autoscaler для вашего приложения успешно создан:
bash
```
1
kubectl describe hpa/<имя приложения>
```

Когда нагрузка на под превысит значение cpu-percent, Horizontal Pod Autoscaler создаст новые поды для обеспечения бесперебойной работы приложения. Например, если cpu-percent имеет значение 20, а нагрузка на под составляет 60%, будет создано еще два дополнительных пода.

Создать Vertical Pod Autoscaler

Установите Metrics Server, если он еще не развернут в вашем кластере.

Установите Vertical Pod Autoscaler из GitHub-репозитория:

1
git clone https://github.com/kubernetes/autoscaler.git && \
2
cd autoscaler/vertical-pod-autoscaler/hack && \
3
./vpa-up.sh

Убедитесь, что поды Vertical Pod Autoscaler подняты и работают:
bash
```
1
kubectl get pods -n kube-system | awk '/vpa/'
```
Создайте манифест Vertical Pod Autoscaler для вашего приложения:
bash
```
1
apiVersion: autoscaling.k8s.io/v1
2
kind: VerticalPodAutoscaler
3
metadata:
4
  name: <имя приложения>-vpa
5
spec:
6
  targetRef:
7
    apiVersion: "apps/v1"
8
    kind:       Deployment
9
    name:       <имя приложения>
10
  updatePolicy:
11
    updateMode: "<режим работы VPA>"
```
Настройка updateMode может принимать несколько значений:
- Off — Vertical Pod Autoscaler предоставляет рекомендации по управлению ресурсами, но не изменяет их.
- Recreate (по умолчанию) — Vertical Pod Autoscaler применяет рекомендации по ресурсам при создании и обновлении подов. Существующие поды пересоздаются методом вытеснения (Eviction), при этом учитываются правила PodDisruptionBudget.
- InPlaceOrRecreate — Vertical Pod Autoscaler пытается обновить ресурсы существующих подов «на лету» (без перезапуска). Если это невозможно, он пересоздает под с помощью метода Recreate.
- Initial — Vertical Pod Autoscaler назначает запросы ресурсов только при создании пода и больше никогда их не меняет.
Подробнее о режимах работы Vertical Pod Autoscaler см. в документации Kubernetes.

Создайте Vertical Pod Autoscaler:

1
kubectl apply -f <имя файла с манифестом VPA>

Посмотрите рекомендации, которые Vertical Pod Autoscaler предоставляет для вашего приложения:
bash
```
1
kubectl describe vpa <имя приложения>
```
В блоке Container Recommendations:
- Lower Bound — минимально допустимый объем запрошенных ресурсов (requests), при котором сохраняется работоспособность приложения;
- Target — оптимальный объем запрошенных ресурсов, который Vertical Pod Autoscaler рекомендует для приложения с учетом текущей нагрузки;
- Uncapped Target — рекомендация по объему запрошенных ресурсов, рассчитанная без учета ограничивающих политик;
- Upper Bound — максимальный разумный объем запрошенных ресурсов для приложения.

Проверить работу автоматического масштабирования

Вы можете проверить работу Horizontal Pod Autoscaler и Vertical Pod Autoscaler с помощью нагрузочного тестирования. Для этого вы можете использовать как простое тестовое приложение, так и ваше собственное — если оно поддерживает работу с HTTP-запросами.

Тестовое приложение
Собственное приложение

Создайте файл с манифестом для тестового приложения и сервиса:

1
apiVersion: apps/v1
2
kind: Deployment
3
metadata:
4
  name: simple-app
5
  labels:
6
    app: simple-app
7
spec:
8
  replicas: 1
9
  selector:
10
    matchLabels:
11
      app: simple-app
12
  template:
13
    metadata:
14
      labels:
15
        app: simple-app
16
    spec:
17
      containers:
18
      - name: nginx-container
19
        image: nginx:latest
20
        imagePullPolicy: Always
21
        ports:
22
        - containerPort: 80
23
        resources:
24
          requests:
25
            cpu: "100m"
26
            memory: "128Mi"
27
          limits:
28
            cpu: "200m"
29
            memory: "256Mi"

Разверните приложение:

1
kubectl apply -f <файл с манифестом тестового приложения>

Убедитесь, что под и сервис тестового приложения работают:
bash
```
1
kubectl get pods,svc | grep simple-app
```
Создайте Horizontal Pod Autoscaler или Vertical Pod Autoscaler для приложения simple-app.
В отдельном окне запустите эмуляцию нагрузки:
bash
```
1
kubectl run -it --rm load-generator \
2
  --image=alpine/curl \
3
  --restart=Never \
4
  -- sh -c "while true; do curl -s http://simple-app-service > /dev/null; done"
```
Этот скрипт будет бесконечно выполнять cURL-запрос к приложению simple-app, что приведет к росту нагрузки. Если нагрузка недостаточна для срабатывания автоматического масштабирования, запустите эмуляцию нагрузки еще в нескольких окнах.
Наблюдайте за изменениями в масштабировании подов:
- Для Horizontal Pod Autoscaler:
  bash
  1 kubectl get hpa -w
  Поле REPLICAS отражает текущее и новое количество подов, обслуживающих приложение. Вывод команды обновляется динамически с ростом или уменьшением количества подов.
- Для Vertical Pod Autoscaler:
  bash
  1 kubectl describe vpa simple-app-vpa
  Информация в Container Recommendations отображает текущее и рекомендуемое состояние для объема запрошенных ресурсов (requests).
Чтобы снять нагрузку с сервиса и остановить эмуляцию, нажмите CTRL + C.
Удалите созданные механизмы автоматического масштабирования.

Удалите тестовое приложение:

1
kubectl delete -f <файл с манифестом тестового приложения>

Создайте Horizontal Pod Autoscaler или Vertical Pod Autoscaler для вашего приложения.
Узнайте имя сервиса, по которому доступно ваше приложение:
bash
```
1
kubectl get svc
```
В отдельном окне запустите эмуляцию нагрузки:
bash
```
1
kubectl run -it --rm load-generator \
2
  --image=alpine/curl \
3
  --restart=Never \
4
  -- sh -c "while true; do curl -s http://<имя сервиса для вашего приложения> > /dev/null; done"
```
Этот скрипт будет бесконечно выполнять cURL-запрос к вашему приложению, что приведет к росту нагрузки. Если нагрузка недостаточна для срабатывания автоматического масштабирования, запустите эмуляцию нагрузки еще в нескольких окнах.
Наблюдайте за изменениями в масштабировании подов:
- Для Horizontal Pod Autoscaler:
  bash
  1 kubectl get hpa -w
  Поле REPLICAS отражает текущее и новое количество подов, обслуживающих приложение. Вывод команды обновляется динамически с ростом или уменьшением количества подов.
- Для Vertical Pod Autoscaler:
  bash
  1 kubectl describe vpa <имя вашего приложения>
  Информация в Container Recommendations отображает текущее и рекомендуемое состояние для объема запрошенных ресурсов (requests).
Чтобы снять нагрузку с сервиса и остановить эмуляцию, нажмите CTRL + C.
Если вы не планируете использовать созданные механизмы автоматического масштабирования, удалите их.

Отключить автоматическое масштабирование

Отключить Cluster Autoscaler

Чтобы отключить Cluster Autoscaler, укажите фиксированное значение для количества узлов в группе при изменении группы узлов.

Веб-консоль
MWS CLI
Terraform
API

В блоке Масштабирование выключите опцию Автомасштабирование.
Укажите нужное число количество узлов.
Примените изменения.

Выполните команду:

1
mws mk8s node-group update <имя группы узлов> \
2
  --cluster-name <имя кластера> \
3
  --scale-fixed <фиксированное число узлов>

Если у вас не установлен Terraform, установите его.

Измените блок параметров scale в конфигурационном файле создания кластера:

1
    resource "mws_mk8s_node_group" "<имя группы узлов>" {
2
    cluster_name    =  <имя кластера>
3
    node_group_name = "<имя группы узлов>"
4

5
    ...
6

7
    scale = {
8
      fixed = {<фиксированное количество узлов>}
9
    }
10

11
    ...

Проверьте конфигурационный файл на наличие синтаксических ошибок:
bash
```
1
terraform validate
```
Если ошибок нет, вы получите следующее сообщение:
bash
```
1
Success! The configuration is valid.
```
Выполните команду:
bash
```
1
terraform plan
```
Terraform проверит конфигурационные файлы, сопоставит описание желаемого состояния облачной инфраструктуры с фактическим и укажет, какие операции с ресурсами будут выполнены.
Примените конфигурацию:
bash
```
1
terraform apply
```
Подтвердите выполнение операций: введите слово yes и нажмите Enter.

Во время создания ресурсов Terraform будет выводить краткие сообщения о выполняемых операциях. Проверить, что ресурсы созданы и настроены корректно, можно в веб-консоли.

Измените параметр scale в JSON-объекте создания группы узлов:

1
{
2
  "metadata": {
3
    "name": "<имя группы узлов>"
4
  },
5
  "spec": {
6
    "zone": "<зона доступности — ru-central1-a или ru-central1-b>",
7
    "subnet": {
8
      "ref": "projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>"
9
    },
10
    "vmType": {
11
      "ref": "compute/vmTypes/<тип ВМ — например, gen-2-4>"
12
    },
13
    "imageStorageSize": "<размер хранилища для контейнеров — например, 10Gb>",
14
    "scale": {
15
      "fixed": <фиксированное число узлов>
16
    },
17
    "versionControl": {
18
      "version": "<версия Kubernetes — например, v1.31.13-mws.1>",
19
      "maintenanceWindow": {
20
        "weekly": {
21
          "days": ["<день недели — например, MONDAY>"],
22
          "hour": <время начала сервисного окна — от 0 до 23>
23
        }
24
      }
25
    },
26
    "rolloutStrategy": {
27
      "maxSurge": <максимальный шаг изменения числа узлов в группе>,
28
      "maxUnavailable": <максимальное число недоступных узлов при изменении числа узлов в группе>
29
    },
30
    "serviceAccount": {
31
      "ref": "projects/<имя проекта>/serviceAccounts/<имя сервисного аккаунта>"
32
    }
33
  }
34
}

Отключить Horizontal Pod Autoscaler

Узнайте имя HPA, которое нужно удалить:
bash
```
1
kubectl get hpa -w
```
Выполните команду:
bash
```
1
kubectl delete hpa/<имя HPA>
```

Отключить Vertical Pod Autoscaler

Чтобы удалить Vertical Pod Autoscaler, выполните команду:

1
kubectl delete -f <имя файла с манифестом VPA>