Резервное копирование кластера в Object Storage

Вы можете создавать резервные копии данных кластера Managed Kubernetes с помощью инструмента Velero. Резервные копии можно использовать как для восстановления существующего кластера, так и для создания нового. Для хранения резервных копий используется бакет Object Storage.

В этом руководстве вы установите Velero в кластер Managed Kubernetes, создадите резервные копии объектов кластера и данных из постоянного хранилища (Persistent Volume), а также восстановите данные из резервной копии.

Чтобы начать работу с Velero:

1. Подготовьте виртуальную машину — на нее будет установлен набор утилит для работы с кластером и резервными копиями.
2. Создайте тестовый дейплоймент с набором внутренних ресурсов Kubernetes и томом постоянного хранилища.
3. Установите серверную часть Velero в кластер.
4. Настройте File System Backup — он понадобится для создания резервных копий постоянного хранилища.
5. Настройте расписание резервного копирования.
6. Создайте резервные копии кластера и постоянного хранилища.
7. Восстановите данные из резервной копии.

Если вам больше не нужны созданные ресурсы, удалите их.

1. Создайте сервисные аккаунты:

   • C именем sa-k8s и ролью registry.puller — для работы группы узлов Managed Kubernetes.
   • С именем sa-storage без назначенной роли — для выгрузки резервных копий в бакет Object Storage. Нужная роль для сервисного аккаунта будет назначена позже.

2. Для сервисного аккаунт sa-storage:

   • Создайте HMAC-ключ — для выгрузки резервных копий в бакет Object Storage. Сохраните значения Access key и Secret key.
   • Создайте API-ключ — для авторизации в Artifact Registry и скачивания Helm-чарта velero. Сохраните API-ключ.

   Примеры значений ключей

   • Access key — 73emukr12Ju59osMFRy7
   • Secret key — tfaJ3QHMZ7gxoklISA2/UNuJBnDxTaZVUdAbvv2cJ
   • API-ключ — v1.-8t7UxUbJlJiGOFVoAsblQt75--qyacasda7YBtUIYp1lBLOaV0MEox_a8sMUe_NHBWoNWA4V7P-wZiSZgHzKabhakcbPSMOEQyArgv5h82ZH_M6FI-PxhLwCKbgNFbHXx

3. Создайте кластер Managed Kubernetes и группу узлов для него. При создании группы используйте сервисный аккаунт sa-k8s.

4. Создайте NAT-шлюз для подсети, в которой будет развернут кластер Managed Kubernetes.

5. Создайте виртуальную машину в той же сети, где развернут кластер Managed Kubernetes.

6. Создайте бакет Object Storage с именем velero-bucket.

7. Настройте права доступа на бакет velero-bucket для сервисного аккаунта sa-storage:

   1. В веб-консоли выберите нужный проект.
   2. В списке сервисов выберите Object Storage → Бакеты и выберите velero-bucket.
   3. Перейдите на вкладку Права доступа. В блоке Управление ролями нажмите кнопку Добавить.
   4. В открывшемся меню выберите тип аккаунта — Сервисный, после чего в строке поиска введите sa-storage.
   5. В списке ролей выберите storage.bucket.objectEditor.
   6. Нажмите кнопку Добавить.

Для работы с Velero установите набор утилит на виртуальную машину:

1. Подключитесь к ВМ по SSH.

2. Установите Helm.

3. Установите утилиту Velero CLI.

4. Установите и настройте утилиту MWS CLI:

   1. Установите утилиту.
   2. Инициализируйте профиль.

5. Установите утилиту командной строки kubectl.

6. Получите kubeconfig:

   1
   mws mk8s get-kubeconfig --name <имя кластера>

7. Убедитесь, что кластер доступен:

   1
   kubectl cluster-info

   Если конфигурация настроена правильно, вы получите такой ответ:

   1
   Kubernetes control plane is running at https://<IP-адрес кластера>
   2
   KubeDNS is running at https://<IP-адрес кластера>/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

Для проверки работы Velero вы создадите деплоймент busybox:1.28, содержащий следующие ресурсы:

• постоянное хранилище с именем тома test-storage;
• секрет Kubernetes с именем test-secret;
• метка (selector) для секрета.

Эти ресурсы потребуются для демонстрации различных сценариев восстановления из резервной копии.

Чтобы создать деплоймент:

1. Создайте файл myapp.yaml, содержащий манифест деплоймента.

   Содержимое файла myapp.yaml

   1
   ---
   2
   apiVersion: v1
   3
   kind: PersistentVolumeClaim
   4
   metadata:
   5
     name: test-pvc
   6
     namespace: default
   7
   spec:
   8
     accessModes:
   9
       - ReadWriteOnce
   10
     storageClassName: mws
   11
     resources:
   12
       requests:
   13
         storage: 1Gi
   14
   ---
   15
   apiVersion: apps/v1
   16
   kind: Deployment
   17
   metadata:
   18
     name: test-app
   19
     namespace: default
   20
     labels:
   21
       app: test-app
   22
   spec:
   23
     replicas: 1
   24
     selector:
   25
       matchLabels:
   26
         app: test-app
   27
     template:
   28
       metadata:
   29
         labels:
   30
           app: test-app
   31
         annotations:
   32
           backup.velero.io/backup-volumes: "test-storage"
   33
       spec:
   34
         containers:
   35
         - name: myapp
   36
           image: registry.mwsapis.ru/mws-mk8s-images/customer/busybox:1.28
   37
           command: ["sleep", "3600"]
   38
           volumeMounts:
   39
           - name: test-storage
   40
             mountPath: /data
   41
         volumes:
   42
         - name: test-storage
   43
           persistentVolumeClaim:
   44
             claimName: test-pvc

   Примечание

   В манифест добавлена аннотация backup.velero.io/backup-volumes. File System Backup будет создавать резервные копии только тех томов, для которых добавлена эта аннотация.

2. Создайте деплоймент:

   1
   kubectl apply -f myapp.yaml

3. Убедитесь, что приложение и его Persistent Volume Claim успешно созданы:

   1
   kubectl get pods -l app=test-app && \
   2
   kubectl get pvc test-pvc

   Ожидаемый результат:

   1
   NAME                        READY   STATUS    RESTARTS   AGE
   2
   test-app-7bf57b58b8-jnxqf   1/1     Running   0          2m30s
   3
   NAME       STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   4
   test-pvc   Bound    pvc-c81a3ea4-cfe6-4703-bd00-ddb349a977f3   1Gi        RWO            mws            <unset>                 2m31s

4. Добавьте секрет Kubernetes:

   1
   kubectl create secret generic test-secret \
   2
     --namespace default \
   3
     --from-literal=username=admin \
   4
     --from-literal=password=password123

5. Добавьте метку (selector) на созданный секрет:

   1
   kubectl label secret test-secret -n default secret=my-test-secret

6. Убедитесь, что секрет успешно создан:

   1
   kubectl get secrets -n default

В этой части руководства вы установите серверную часть Velero в кластер Managed Kubernetes.

1. Аутентифицируйтесь в Artifact Registry:

   Примечание

   Значение параметра -u apikey предустановлено, изменять его не нужно. Укажите только значение для API-ключа.

   1
   helm registry login -u apikey -p <API-ключ> registry.mwsapis.ru

2. Скачайте Helm-чарт velero на ВМ:

   1
   helm pull oci://registry.mwsapis.ru/mws-mk8s-images/customer/charts/velero \
   2
     --version 12.0.0 \
   3
     --untar

3. Создайте файл с ключами:

   1
   cat << EOF > credentials-velero.txt
   2
   [default]
   3
   aws_access_key_id=<значение Access key HMAC-ключа>
   4
   aws_secret_access_key=<значение Secret key HMAC-ключа>
   5
   EOF

4. Установите Velero:

   1
   helm install --namespace velero \
   2
     --create-namespace \
   3
     --generate-name \
   4
     --set backupStorageLocationCustomRepo.bucket=velero-bucket \
   5
     --set-file credentials.secretContents.cloud=credentials-velero.txt \
   6
     ./velero/

5. Проверьте успешность установки:

   1
   helm list -n velero

   Ожидаемый результат:

   1
   NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION
   2
   velero-1774353057   velero      1           2026-03-24 14:50:59.258129131 +0300 MSK deployed    velero-12.0.0   1.18.0

6. Проверьте доступность бакета и работоспособность пода Velero:

   1
   kubectl get -n velero backupstoragelocations.velero.io && \
   2
   kubectl get -n velero deployment

   Ожидаемый результат:

   1
   NAME               PHASE       LAST VALIDATED   AGE   DEFAULT
   2
   velero-s3-backup   Available   35s              55m   true
   3
   NAME     READY   UP-TO-DATE   AVAILABLE   AGE
   4
   velero   1/1     1            1           55m

Механизм File System Backup позволяет создавать резервные копии данных, находящихся в томах постоянного хранилища. Создание резервных копий постоянных хранилищ с помощью снапшотов CSI не поддерживается.

Включите механизм File System Backup в вашем кластере Managed Kubernetes:

1. Внесите изменения в файл ./velero/values.yaml, с помощью которого ранее был установлен Velero. Удалите символ # перед следующими строками:

   1
   ...
   2
   deployNodeAgent: true
   3
   nodeAgent:
   4
     disableHostPath: false
   5
     resources:
   6
       requests:
   7
         cpu: 500m
   8
         memory: 512Mi
   9
       limits:
   10
         cpu: 1000m
   11
         memory: 1024Mi
   12
     useScratchEmptyDir: true
   13
   ...

2. Узнайте имя деплоймента Velero:

   1
   helm list -n velero

   Ожидаемый результат:

   1
   NAME                NAMESPACE   REVISION    UPDATED                                 STATUS      CHART           APP VERSION
   2
   <имя деплоймента>   velero      1           2026-03-24 14:50:59.258129131 +0300 MSK deployed    velero-12.0.0   1.18.0

3. Обновите деплоймент:

   1
   helm upgrade <имя деплоймента> \
   2
     --namespace velero \
   3
     --set backupStorageLocationCustomRepo.bucket=velero-bucket \
   4
     -f ./velero/values.yaml \
   5
     ./velero/ \
   6
     --reset-values

4. Убедитесь, что агенты Velero расположены на каждом узле кластера:

   1
   kubectl get pods -n velero -l "name=node-agent"

   Ожидаемый результат:

   1
   NAME               READY   STATUS    RESTARTS   AGE
   2
   node-agent-xlknx   1/1     Running   0          64m

   Теперь Velero может создавать резервные копии данных из постоянного хранилища этого пода.

В этой части руководства вы создадите расписание резервного копирования. Копия будет создаваться ежедневно в 12:00 и включать в себя все объекты кластера.

1. Подготовьте манифест с расписанием резервного копирования:

   1
   cat << EOF > schedule-velero.txt
   2
   apiVersion: velero.io/v1
   3
   kind: Schedule
   4
   metadata:
   5
     name: velero-main-schedule
   6
     namespace: velero
   7
   spec:
   8
     schedule: 0 */12 * * *
   9
     skipImmediately: false
   10
     template:
   11
       hooks: {}
   12
       includeClusterResources: true
   13
       includedNamespaces:
   14
       - '*'
   15
       storageLocation: velero-s3-backup
   16
       ttl: 720h
   17
   EOF

   Вы можете изменить некоторые параметры расписания:

   • schedule — расписание резервного копирования в формате crontab;
   • skipImmediately — резервное копирование будет запущено только в момент срабатывания расписания;
   • includeClusterResources — в резервную копию будут включены все объекты уровня кластера (cluster-scoped);
   • includedNamespaces со значением * — в резервную копию будут включены все пространства имен;
   • ttl — время жизни резервной копии (720 часов, 30 дней).

2. Примените расписание:

   1
   kubectl apply -f schedule-velero.txt

3. Убедитесь, что расписание успешно создано и активировано:

   1
   kubectl get schedules.velero.io -n velero

   Ожидаемый результат:

   1
   NAME                              STATUS    SCHEDULE       LASTBACKUP   AGE   PAUSED
   2
   velero-main-schedule              Enabled   0 */12 * * *                9s

В этом разделе руководства вы вручную создадите резервную копию кластера и постоянного хранилища, используя правила из расписания.

1. Выполните команду создания копии:

   1
   velero backup create <имя резервной копии> \
   2
     --from-schedule velero-main-schedule

2. Дождитесь завершения создания резервной копии. Отслеживать создание копии можно с помощью запроса логов:

   1
   velero backup logs <имя резервной копии>

3. Для получения информации о созданной резервной копии используйте команду:

   1
   velero describe backup <имя резервной копии>

Чтобы включить в резервную копию данные из тома test-storage:

1. Выполните команду создания копии:

   1
   velero backup create <имя резервной копии> \
   2
     --from-schedule velero-main-schedule

2. Дождитесь завершения создания резервной копии. Отслеживать создание копии можно с помощью запроса логов:

   1
   velero backup logs <имя резервной копии>

3. Убедитесь, что резервная копия включает в себя том test-storage:

   1
   velero backup describe <имя резервной копии> --details

   В выводе команды будет информация о резервной копии тома:

   1
   storage.k8s.io/v1/CSIDriver:
   2
     - csi.mws.ru
   3
   storage.k8s.io/v1/CSINode:
   4
     - <имя группы узлов>
   5
   storage.k8s.io/v1/StorageClass:
   6
     - mws
   7
   storage.k8s.io/v1/VolumeAttachment:
   8
     - csi-d3ad5d912fec6d90044c3d288912316184324fc6a76f48231a3948e7d429f9f4

   Примечание

   Velero восстанавливает данные тома только вместе с ресурсами, которые используют эти данные (в этом руководстве — деплоймент и Persistent Volume Claim). Восстановление самих данных без пересоздания ресурсов не поддерживается.

Доступны несколько вариантов восстановления данных из резервной копии:

• Чтобы восстановить отдельные ресурсы в одном пространстве имен:

  1. Для проверки восстановления удалите тестовый секрет:

     1
     kubectl delete secret test-secret

  2. Восстановите удаленный секрет из резервной копии:

     1
     velero restore create --from-backup <имя резервной копии> \
     2
       --include-namespaces=default \
     3
       --include-resources=secrets

  3. Убедитесь, что секрет восстановлен:

     1
     kubectl get secrets -n default

• Чтобы восстановить ресурсы пространства имен на основе метки (selector):

  1. Для проверки восстановления удалите тестовый секрет:

     1
     kubectl delete secret test-secret

  2. Восстановите удаленный секрет с помощью метки:

     1
     velero restore create --from-backup <имя резервной копии> \
     2
       --include-namespaces=default \
     3
       --selector "secret=my-test-secret"

• Чтобы восстановить все ресурсы пространства имен, выполните команду:

  1
  velero restore create \
  2
    --from-backup <имя резервной копии> \
  3
    --include-namespaces=<пространство имен>

• Чтобы восстановить все данные в кластере из резервной копии, выполните команду velero restore create --from-backup <имя резервной копии>.

• Чтобы восстановить данные постоянного хранилища:

  1. Удалите деплоймент и его Persistent Volume Claim:

     1
     kubectl delete deployment test-app -n default && \
     2
     kubectl delete pvc test-pvc -n default

  2. Убедитесь, что ресурсы удалены:

     1
     kubectl get deployments,pod,pvc -n default

  3. Восстановите деплоймент и его том из резервной копии:

     1
     velero restore create test-restore-pv \
     2
       --from-backup <имя резервной копии> \
     3
       --restore-volumes=true

  4. Убедитесь, что ресурсы восстановлены:

     1
     kubectl get deployments,pod,pvc -n default

Вы можете получить список созданных экземпляров восстановлений, логи и подробную информацию о восстановлении. Для этого используйте команды:

1
velero get restore

1
velero restore logs <имя экземпляра восстановления>

1
velero describe restore <имя экземпляра восстановления>

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

1. Удалите кластер Managed Kubernetes.
2. Удалите виртуальную машину.
3. Удалите бакет Object Storage.
4. Удалите NAT-шлюз.