Установка и настройка GPU Operator

GPU Operator — это инструмент, который автоматизирует развертывание и управление всеми компонентами, необходимыми для работы GPU в кластере Managed Kubernetes (драйверы, Container Toolkit, Device Plugin, DCGM и другие). GPU Operator избавляет администратора от ручной настройки каждого узла с GPU, позволяя управлять GPU-ресурсами так же просто, как и узлами на основе ВМ Compute.

В состав GPU Operator входит Multi-Instance GPU (MIG) — технология NVIDIA, позволяющая разделить один физический GPU на несколько изолированных инстансов (экземпляров) с собственными вычислительными ресурсами и памятью. Компонент MIG Manager автоматизирует настройку MIG на узлах.

Чтобы начать работу с GPU Operator в кластере Managed Kubernetes:

1. Установите GPU Operator.

2. Изучите настройки Multi-Instance GPU.

3. Выберите и установите одну из стандартных стратегий разделения ресурсов GPU.

   В этом подразделе вы также узнаете, как динамически переконфигурировать MIG и как создать собственный профиль MIG с помощью пользовательского ConfigMap, адаптированного под ваши задачи.

4. Запустите простую тестовую нагрузку.

5. (опционально) Запустите параллельные задачи Argo Workflows.

6. (опционально) Отключите MIG, если вам больше не нужно разделение GPU на отдельные инстансы.

1. Для прохождения руководства вам понадобится устройство, поддерживающее работу с командной строкой. Используйте личный компьютер или создайте промежуточную ВМ в той же сети, где расположен кластер Managed Kubernetes.
2. Создайте кластер Managed Kubernetes подходящей вам конфигурации в зоне доступности ru-central1-a.
3. Создайте группу узлов с GPU подходящей вам конфигурации. В этом руководстве в качестве примера используется группа узлов из двух GPU A100-SXM4-80GB.
4. Установите Helm.
5. Настройте подключение к кластеру подходящим вам способом.

1. Создайте файл values.yaml с конфигурацией GPU Operator и MIG:

   1
   operator:
   2
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia
   3
     image: gpu-operator
   4
     version: "v26.7.0"
   5
   
   6
   validator:
   7
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia
   8
     image: gpu-operator
   9
     version: "v26.7.0"
   10
     plugin:
   11
       env:
   12
         - name: WITH_WORKLOAD
   13
           value: "true"
   14
   
   15
   nfd:
   16
     nodeFeatureDiscovery:
   17
       image:
   18
         repository: registry.mwsapis.ru/mws-mk8s-images/customer/nfd/node-feature-discovery
   19
         tag: "v0.19.0"
   20
   
   21
   gfd:
   22
     enabled: true
   23
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia
   24
     image: k8s-device-plugin
   25
     version: "v0.20.0"
   26
   
   27
   driver:
   28
     enabled: true
   29
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia
   30
     image: driver
   31
     version: "595.91.07"
   32
     manager:
   33
       repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia/cloud-native
   34
       image: k8s-driver-manager
   35
       version: "v0.12.0"
   36
     upgradePolicy:
   37
       drain:
   38
         enable: true
   39
         force: true
   40
         deleteEmptyDir: true
   41
       gpuPodDeletion:
   42
         force: true
   43
   
   44
   toolkit:
   45
     enabled: true
   46
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia/k8s
   47
     image: container-toolkit
   48
     version: "v1.20.0"
   49
   
   50
   devicePlugin:
   51
     enabled: true
   52
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia
   53
     image: k8s-device-plugin
   54
     version: "v0.20.0"
   55
   
   56
   dcgm:
   57
     enabled: true
   58
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia/cloud-native
   59
     image: dcgm
   60
     version: "4.6.0-1-ubuntu24.04"
   61
   
   62
   dcgmExporter:
   63
     enabled: false
   64
     repository: registry.mwsapis.ru/mws-mk8s-images/customer/nvidia/k8s
   65
     image: dcgm-exporter
   66
     version: "4.6.0-4.8.3-distroless"

   Здесь:

   • WITH_REBOOT со значением true — автоматическая перезагрузка узла для корректного применения геометрии MIG при обновлении.
   • driver.upgradePolicy.* — автоматическая очистка узлов (drain) и принудительное удаление подов при обновлении драйвера.
   • dcgmExporter.enabled — экспортер для сбора метрик с GPU-карт. По умолчанию сбор метрик отключен.

2. Установите GPU Operator:

   1
   helm upgrade --install gpu-operator \
   2
     oci://registry.mwsapis.ru/mws-mk8s-images/customer/charts/gpu-operator \
   3
     --version v26.7.0 \
   4
     --namespace gpu-operator \
   5
     --create-namespace \
   6
     -f values.yaml

3. Убедитесь, что все поды GPU Operator перешли в состояние Running:

   1
   kubectl get pods -n gpu-operator

4. Убедитесь, что на узел добавлены метки nvidia.com/gpu.present:

   1
   kubectl get node -o json | jq '.items[] | select(.metadata.labels | has("nvidia.com/gpu.present")) | {
   2
     "node": .metadata.name,
   3
     "nvidia.com/gpu.present": .metadata.labels["nvidia.com/gpu.present"],
   4
     "nvidia.com/gpu.product": .metadata.labels["nvidia.com/gpu.product"],
   5
     "nvidia.com/mig.capable": .metadata.labels["nvidia.com/mig.capable"],
   6
     "nvidia.com/mig.config": .metadata.labels["nvidia.com/mig.config"],
   7
     "nvidia.com/mig.config.state": .metadata.labels["nvidia.com/mig.config.state"],
   8
     "nvidia.com/mig.strategy": .metadata.labels["nvidia.com/mig.strategy"]
   9
   }'

   Ожидаемый результат для одного узла:

   1
   {
   2
     "node": "<имя узла>",
   3
     "nvidia.com/gpu.present": "true",
   4
     "nvidia.com/gpu.product": "NVIDIA-A100-80GB-PCIe",
   5
     "nvidia.com/mig.capable": "true",
   6
     "nvidia.com/mig.config": "all-disabled",
   7
     "nvidia.com/mig.config.state": "success",
   8
     "nvidia.com/mig.strategy": "single"
   9
   }

Компонент MIG Manager автоматически создает конфигурацию MIG во время запуска, опрашивая доступные GPU через NVML. Результат записывается в ресурс ConfigMap вида <имя узла>-mig-config для каждого узла.

Конфигурация включает в себя профили — готовые пресеты, которые MIG применит ко всем GPU на узле. MIG Manager создает стандартные профили:

• (по умолчанию) all-disabled — MIG отключен, GPU работает как одно устройство. Полезно, если ваши задачи требуют полной мощности GPU.

• all-enabled — GPU будет разделен на максимально возможное количество инстансов. Например, для GPU A100 80 Гб будет создано 7 инстансов 1g.10gb. Один вычислительный блок GPU резервируется для управления устройством и не может быть использован. Этот профиль подойдет для тестирования или обработки легких запросов.

• Профили вида all-2g.20gb — GPU будет разделен на количество инстансов, указанное в параметре профиля. Например, GPU A100 80 ГБ будет разделен на 3 инстанса, каждый из которых будет содержать 2 вычислительных блока и 20 Гб видеопамяти. Подробнее о доступных профилях для GPU читайте в документации NVIDIA.

• all-balanced — сбалансированный профиль. GPU будет разделен на инстансы, включающие в себя оптимальное количество вычислительных блоков и видеопамяти. К примеру, GPU A100 80 Гб может быть разделен на инстансы 1g.10gb, 2g.10gb, 3g.40gb или 4g.40gb (в примере приведен не полный список комбинаций). Такой профиль подойдет, например, когда модель машинного обучения не помещается в минимальные 10 Гб, но и не требует ресурсов целого GPU.

После установки MIG узлам автоматически присваивается метка с профилем nvidia.com/mig.config: all-disabled. Это означает, что по умолчанию MIG не задействован.

Чтобы включить MIG, перейдите в следующий подраздел руководства.

MIG поддерживает стратегии применения профилей — правила, по которым профили будут применяться к GPU в кластере. Доступно две стратегии:

• Стратегия single (устанавливается по умолчанию) — ко всем узлам с GPU будет применен один профиль.

• Стратегия mixed — к узлам с GPU будут применены различные профили.

  Например, вы планируете использовать узел с GPU NVIDIA A100 80GB как для работы с простыми моделями, так и для обработки сложных запросов. MIG Manager в режиме стратегии mixed может распределить ресурсы так:

  • 3 инстанса с профилем 1g.10gb — для простых задач;
  • 1 инстанс с профилем 3g.40gb — для ресурсоемких задач.

Если инстанс не справляется с нагрузкой, вы можете динамически переключить профили MIG — это позволит выделить инстансам дополнительные ресурсы. А если созданные при установке MIG стандартные профили вам не подходят, вы можете создать собственный.

Следуя этой стратегии, MIG Manager применит один профиль ко всем GPU в кластере. В примере ниже применяется профиль all-1g.10gb.

Чтобы применить стратегию single и один профиль для всех GPU:

1. Установите стратегию single в политике кластера:

   1
   kubectl patch clusterpolicies.nvidia.com/cluster-policy \
   2
   --type='json' \
   3
   -p='[{"op":"replace", "path":"/spec/mig/strategy", "value":"single"}]'

2. Назначьте узлу метку профиля all-1g.10gb:

   1
   kubectl label nodes <имя узла> nvidia.com/mig.config=all-1g.10gb --overwrite

   MIG Manager завершит работу текущих GPU-подов и сформирует запрашиваемую геометрию.

3. Убедитесь, что новая конфигурация узла применена:

   1
   kubectl get node <имя узла> -o=jsonpath='{.metadata.labels}' | jq '."nvidia.com/mig.config.state"'

   Ожидаемый результат:

   1
   nvidia.com/mig.config.state: success

4. (опционально) Проверьте создание MIG-устройства. Для этого запустите команду:

   1
   kubectl exec -it -n gpu-operator ds/nvidia-driver-daemonset -- nvidia-smi -L

   Эта команда запустит утилиту nvidia-smi внутри контейнера драйвера. Вывод команды покажет список всех физических GPU и их MIG-инстансов.

   Пример вывода:

   1
   GPU 0: A100-SXM4-80GB (MIG 1g.10gb) UUID: MIG-<инстанс 1>
   2
   GPU 0: A100-SXM4-80GB (MIG 1g.10gb) UUID: MIG-<инстанс 2>
   3
   GPU 0: A100-SXM4-80GB (MIG 1g.10gb) UUID: MIG-<инстанс 3>
   4
   ...

Следуя этой стратегии, MIG Manager применит разные профили к одному или нескольким GPU. Это даст максимальную гибкость: узел сможет обрабатывать как легкие, так и тяжелые запросы.

Чтобы применить стратегию mixed и разные профили для разных GPU:

1. Установите стратегию mixed в политике кластера:

   1
   kubectl patch clusterpolicies.nvidia.com/cluster-policy \
   2
   --type='json' \
   3
   -p='[{"op":"replace", "path":"/spec/mig/strategy", "value":"mixed"}]'

2. Назначьте узлу метку сбалансированного профиля:

   1
   kubectl label nodes <имя узла> nvidia.com/mig.config=all-balanced --overwrite

MIG Manager поддерживает горячее изменение геометрии узла. Чтобы переключить узел, например, на профиль 3g.40gb, выполните команду:

1
kubectl label nodes <имя узла> nvidia.com/mig.config=all-3g.40gb --overwrite

Отслеживать изменение можно с помощью команды:

1
kubectl logs -n gpu-operator -l app=nvidia-mig-manager -c nvidia-mig-manager

Если стандартные профили вам не подходят, вы можете передать собственную конфигурацию:

• с помощью Helm — через настройку файла values.yaml;
• вручную с помощью kubectl — через создание и применение отдельного ресурса ConfigMap.

В этом руководстве при установке GPU Operator создается несколько пользовательских профилей: custom-mixed-dual, balanced-dual и asymmetric-dual.

1
custom-mixed-dual:
2
  - devices: [0, 1]
3
    mig-enabled: true
4
    mig-devices:
5
      "3g.40gb": 1
6
      "2g.20gb": 1
7
      "1g.10gb": 2

1
balanced-dual:
2
  - devices: all
3
    mig-enabled: true
4
    mig-devices:
5
      "3g.40gb": 2

1
asymmetric-dual:
2
  - devices: [0]
3
    mig-enabled: true
4
    mig-devices:
5
      "3g.40gb": 2
6
  - devices: [1]
7
    mig-enabled: true
8
    mig-devices:
9
      "1g.10gb": 7

Создайте новую конфигурацию:

1. Узнайте, какая метка nvidia.com/gpu.product назначена для узла с GPU:

   1
   kubectl get node -o json | jq '.items[] | select(.metadata.labels | has("nvidia.com/gpu.present")) | {
   2
     "node": .metadata.name,
   3
     "nvidia.com/gpu.product": .metadata.labels["nvidia.com/gpu.product"]
   4
   }'

   Пример вывода команды:

   1
   {
   2
     "node": "<имя узла>",
   3
     "nvidia.com/gpu.product": "NVIDIA-A100-SXM4-80GB"
   4
   }

2. Запустите одиночный под vectoradd-cuda11.2.1, указав в манифесте пода запрос на ресурс и фильтрацию узла через параметр nodeSelector, метка для которого была получена на предыдущем шаге.

   1
   cat << EOF | kubectl create -f -
   2
   apiVersion: v1
   3
   kind: Pod
   4
   metadata:
   5
     name: cuda-vectoradd
   6
   spec:
   7
     restartPolicy: OnFailure
   8
     containers:
   9
     - name: vectoradd
   10
       image: nvidia/samples:vectoradd-cuda11.2.1
   11
       resources:
   12
         limits:
   13
           nvidia.com/gpu: 1
   14
     nodeSelector:
   15
       nvidia.com/gpu.product: NVIDIA-A100-SXM4-80GB
   16
   EOF

   Под выполнит ряд проверок и завершит работу самостоятельно.

3. Убедитесь, что под успешно запустился:

   1
   kubectl describe pod cuda-vectoradd

   Ожидаемый результат:

   1
   ...
   2
   Normal   Scheduled   ...   Successfully assigned default/cuda-vectoradd to node-gpu-01
   3
   Normal   Pulled      ...   Container image "nvidia/samples:vectoradd-cuda11.2.1" already present on machine
   4
   Normal   Started     ...   Started container vectoradd

4. Когда под завершит работу, проверьте лог контейнера:

   1
   kubectl logs cuda-vectoradd

   Если проверка прошла успешно, в логе пода будет выведено сообщение:

   1
   ...
   2
   [Vector addition of 50000 elements]
   3
   Copy input data from the host memory to the CUDA device
   4
   CUDA kernel launch with 196 blocks of 256 threads
   5
   Copy output data from the CUDA device to the host memory
   6
   Test PASSED
   7
   Done

Проверки, которые выполняет под в процессе работы, отражены в таблице ниже:

Вы можете запустить несколько параллельных задач CUDA на устройствах MIG с помощью инструмента Argo Workflows.

1. Установите Argo CLI на ваше устройство.

2. Установите Argo Workflows в кластер Managed Kubernetes:

   1
   kubectl create ns argo && \
   2
   kubectl apply -n argo -f https://raw.githubusercontent.com/argoproj/argo-workflows/stable/manifests/quick-start-postgres.yaml

   Важно

   Приведенный в этой команде манифест содержит простые пароли и не предназначен для продуктовых окружений. Используйте этот манифест только для тестирования.

3. Создайте файл vector-add.yaml с манифестом сценария Argo Workflow:

   1
   apiVersion: argoproj.io/v1alpha1
   2
   kind: Workflow
   3
   metadata:
   4
     generateName: argo-mig-example-
   5
   spec:
   6
     entrypoint: argo-mig-result-example
   7
     templates:
   8
     - name: argo-mig-result-example
   9
       steps:
   10
       - - name: generate
   11
           template: gen-mig-device-list
   12
       - - name: argo-mig
   13
           template: argo-mig
   14
           arguments:
   15
             parameters:
   16
             - name: argo-mig
   17
               value: "{{item}}"
   18
           withParam: "{{steps.generate.outputs.result}}"
   19
     - name: gen-mig-device-list
   20
       script:
   21
         image: python:3-alpine
   22
         command: [python]
   23
         source: |
   24
           import json
   25
           import sys
   26
           json.dump([i for i in range(0, 2)], sys.stdout)
   27
     - name: argo-mig
   28
       retryStrategy:
   29
         limit: 10
   30
         retryPolicy: "Always"
   31
       inputs:
   32
         parameters:
   33
         - name: argo-mig
   34
       container:
   35
         image: nvidia/samples:vectoradd-cuda11.2.1
   36
         resources:
   37
           limits:
   38
             nvidia.com/gpu: 1
   39
       nodeSelector:
   40
         nvidia.com/gpu.product: <название GPU и инстанса, в формате A100-SXM4-40GB-MIG-3g.20gb>

4. Запустите Argo Workflow, используя флаг --watch для наблюдения за выполнением команды в реальном времени:

   1
   argo submit -n argo --watch vector-add.yaml

   В процессе выполнения команды будут созданы два пода с тестовыми CUDA-задачами. Каждый под будет запланирован на отдельном MIG-инстансе. Когда поды завершат выполнение тестовых задач, Argo Workflow автоматически завершит работу и сообщит об успешном выполнении:

   1
   Name:                argo-mig-example-xyz78
   2
   Namespace:           argo
   3
   ServiceAccount:      default
   4
   Status:              Succeeded
   5
   Created:             ...
   6
   Started:             ...
   7
   Duration:            1m 20s
   8
   Progress:            2/2

Если вам больше не нужно разделение GPU на инстансы, вы можете отключить MIG:

1
kubectl label nodes <имя узла> nvidia.com/mig.config=all-disabled --overwrite

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

1. Удалите кластер Managed Kubernetes.
2. Если вы создавали виртуальную машину, удалите ее.