Создание кластера

Веб-консоль
MWS CLI
API

В веб-консоли выберите нужный проект.
В списке сервисов выберите Managed Kafka и нажмите кнопку Создать.
(опционально) Измените автоматически сгенерированное имя кластера. Позже это имя (name) и созданный из него идентификатор (ID) нельзя изменить, меняется только отображаемое имя (display name) кластера.

Выберите тип кластера: Standalone или Multi-node.

Standalone
Multi-node

Укажите зону доступности, где будет размещен кластер.
Выберите тип ВМ для конфигурации узла.
Укажите размер диска. Его нельзя уменьшить после создания кластера.

(опционально) Укажите максимальное количество операций ввода-вывода в секунду. Допустимо значение от 1 000 до 10 000, кратное 100. Если значение не задано, применится значение по умолчанию.

Размер диска	Значение IOPS
10–32 ГБ	1 000
33–64 ГБ	2 000
65–96 ГБ	3 000
97–128 ГБ	4 000
129–160 ГБ	5 000
161–192 ГБ	6 000
193–224 ГБ	7 000
225–256 ГБ	8 000
257–288 ГБ	9 000
289 ГБ — максимальный	10 000

Укажите настройки Kafka.
(опционально) Добавьте описание для кластера.
Нажмите кнопку Далее.
Задайте сетевые настройки кластера:
1. Выберите сеть для размещения кластера или создайте новую сеть.
2. Выберите подсеть для размещения брокера или создайте новую подсеть.
3. Выберите тип внутреннего IP-адреса для брокера: временный, который выбирается автоматически из диапазона подсети, или зарезервированный. Если IP-адрес еще не зарезервирован, зарезервируйте его.
4. Если вы планируете подключаться к кластеру из внешней сети, выберите тип внешнего IP-адреса для брокера: временный, который выбирается автоматически из диапазона подсети, или зарезервированный. Если IP-адрес еще не зарезервирован, зарезервируйте его.
Нажмите кнопку Далее.
(опционально) Укажите день и промежуток времени для сервисного окна.
Параметры сервисного окна по умолчанию: воскресенье и 0:00–01:00 UTC.
Нажмите кнопку Далее.
Проверьте заданные настройки и нажмите кнопку Создать.

Укажите зону доступности, где будут размещены узлы.
Выберите тип ВМ для конфигурации узла.
Укажите размер диска. Его нельзя уменьшить после создания кластера.

Размер диска	Значение IOPS
10–32 ГБ	1 000
33–64 ГБ	2 000
65–96 ГБ	3 000
97–128 ГБ	4 000
129–160 ГБ	5 000
161–192 ГБ	6 000
193–224 ГБ	7 000
225–256 ГБ	8 000
257–288 ГБ	9 000
289 ГБ — максимальный	10 000

Выберите тип ВМ для конфигурации KRaft-контроллера.
Укажите настройки Kafka.
(опционально) Добавьте описание для кластера.
Нажмите кнопку Далее.
Выберите тип настроек кластера: Автоматические или Гибкие, и задайте сетевые настройки.
- Автоматические
- Гибкие
Выберите сеть, в которой будет развернут кластер, или создайте новую сеть.

Выберите подсеть для размещения брокера или создайте новую подсеть.

Если вы планируете подключаться к кластеру из внешней сети, включите опцию Назначить временный внешний IP-адрес.
Выберите сеть, в которой будет развернут кластер, или создайте новую сеть.

Выберите тип внутреннего IP-адреса для брокеров: временный, который выбирается автоматически из диапазона подсети, или зарезервированный. Если IP-адрес еще не зарезервирован, зарезервируйте его.

Если вы планируете подключаться к кластеру из внешней сети, выберите тип внешнего IP-адреса для брокеров: временный, который выбирается автоматически из диапазона подсети, или зарезервированный. Если IP-адрес еще не зарезервирован, зарезервируйте его.

Выберите подсети для размещения брокеров или создайте новые подсети.
Нажмите кнопку Далее.
(опционально) Укажите день и промежуток времени для сервисного окна.
Параметры сервисного окна по умолчанию: воскресенье и 0:00–01:00 UTC.
Нажмите кнопку Далее.
Проверьте заданные настройки и нажмите кнопку Создать.

Если у вас нет утилиты MWS CLI:
1. Установите утилиту.
2. Инициализируйте профиль.
Убедитесь, что у вас есть сеть и подсеть, где будет размещен основной узел кластера. Если их нет, создайте сеть и подсеть.
Определите тип ВМ для конфигурации узла.

В зависимости от типа кластера выполните команду:

1
mws mkafka cluster create <имя кластера> \
2
  --active \
3
  --version "4.0" \
4
  --endpoints '
5
    name: <имя эндпоинта>
6
    network: projects/<имя проекта>/networks/<имя сети>
7
    brokerAddresses:
8
      - spec:
9
          subnet: projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>
10
  ' \
11
  --instances-broker-vm-type <тип ВМ — например, vmTypes/gen-2-8> \
12
  --instances-broker-disk-size <размер диска в гигабайтах — например, 10GB> \
13
  --instances-broker-disk-type <тип диска — например, NETWORK_STANDARD_SSD> \
14
  --instances-broker-disk-iops <количество IOPS — например, 1000> \
15
  --instances-broker-allocation '
16
    zone: <зона доступности — ru-central1-a или ru-central1-b>
17
    count: <количество узлов — 1>
18
  ' \
19
  --instances-controller-combined-with-broker

1
mws mkafka cluster create <имя кластера> \
2
  --active \
3
  --version "4.0" \
4
  --endpoints '
5
    name: <имя эндпоинта>
6
    network: projects/<имя проекта>/networks/<имя сети>
7
    brokerAddresses:
8
      - spec:
9
          subnet: projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>
10
      - spec:
11
          subnet: projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>
12
      - spec:
13
          subnet: projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>
14
  ' \
15
  --instances-broker-vm-type <тип ВМ — например, vmTypes/gen-2-8> \
16
  --instances-broker-disk-size <размер диска в гигабайтах — например, 10GB> \
17
  --instances-broker-disk-type <тип диска — например, NETWORK_STANDARD_SSD> \
18
  --instances-broker-disk-iops <количество IOPS — например, 1000> \
19
  --instances-broker-allocation '
20
    zone: <зона доступности — ru-central1-a или ru-central1-b>
21
    count: <количество узлов — например, 3>
22
  ' \
23
  --instances-controller-vm-type <тип ВМ — например, vmTypes/gen-2-8> \
24
  --instances-controller-disk-size <размер диска в гигабайтах — например, 10GB> \
25
  --instances-controller-disk-type <тип диска — например, NETWORK_STANDARD_SSD> \
26
  --instances-controller-allocation '
27
    zone: <зона доступности — ru-central1-a или ru-central1-b>
28
    count: <количество узлов — например, 3>
29
  '

Обязательные параметры в спецификации кластера:

spec.version — поддерживаемая версия Kafka;
spec.endpoints — сеть и подсети (минимум 1) для брокеров в нужной зоне;
spec.instances.broker — конфигурация брокеров;
spec.instances.controller:
- для standalone-кластера используйте флаг --instances-controller-combined-with-broker, при котором контроллер размещается на той же ВМ, что и брокер;
- для multi-node-кластера укажите конфигурацию контроллеров.

Допустимое значение IOPS: от 1 000 до 10 000, кратное 100. Если значение не задано, применится значение по умолчанию.

Размер диска	Значение IOPS
10–32 ГБ	1 000
33–64 ГБ	2 000
65–96 ГБ	3 000
97–128 ГБ	4 000
129–160 ГБ	5 000
161–192 ГБ	6 000
193–224 ГБ	7 000
225–256 ГБ	8 000
257–288 ГБ	9 000
289 ГБ — максимальный	10 000

Убедитесь, что у вас есть IAM-токен для авторизации запроса. Если нет, получите его.
Убедитесь, что у вас есть сеть и подсеть, где будет размещен основной узел кластера. Если их нет, создайте сеть и подсеть.
Определите тип ВМ для конфигурации узла.
Получите список типов дисков, чтобы определить тип и размер хранилища для кластера:
bash
```
1
curl -X GET https://compute.mwsapis.ru/compute/v1/diskTypes \
2
  -H "Authorization: Bearer <IAM-токен>"
```

Опишите характеристики кластера в виде JSON-объекта и сохраните его в отдельном файле. Обязательные параметры в спецификации кластера:

spec.version — поддерживаемая версия Kafka;
spec.endpoints — сеть и подсети (минимум 1) для брокеров в нужной зоне;
spec.instances.broker — конфигурация брокеров;
spec.instances.controller:
- для standalone-кластера укажите параметр combinedWithBroker со значением true, при котором контроллер размещается на той же ВМ, что и брокер;
- для multi-node-кластера укажите конфигурацию контроллеров.

1
{
2
  "metadata": {
3
    "displayName": "<отображаемое имя кластера>"
4
  },
5
  "spec": {
6
    "active": <состояние кластера: true — запущен, false — остановлен>,
7
    "version": "4.0",
8
    "endpoints": [
9
      {
10
        "name": "<имя сети>",
11
        "network": "projects/<проект>/networks/<сеть>",
12
        "brokerAddresses": [
13
          {
14
            "spec": {
15
              "subnet": "projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>"
16
            }
17
          }
18
        ]
19
      }
20
    ],
21
    "instances": {
22
      "broker": {
23
        "vmType": "<тип ВМ — например, vmTypes/gen-2-4>",
24
        "disk": {
25
          "size": "<размер диска в гигабайтах — например, 20GB>",
26
          "type": "<тип диска — например, NETWORK_STANDARD_SSD>",
27
          "iops": <количество IOPS — например, 1000>
28
        },
29
        "allocation": [
30
          {
31
            "zone": "<зона доступности — ru-central1-a или ru-central1-b>",
32
            "count": <количество узлов — 1>
33
          }
34
        ]
35
      },
36
      "controller": {
37
        "combinedWithBroker": true
38
      }
39
    }
40
  }
41
}

1
{
2
  "metadata": {
3
    "displayName": "<отображаемое имя кластера>"
4
  },
5
  "spec": {
6
    "active": <состояние кластера: true — запущен, false — остановлен>,
7
    "version": "4.0",
8
    "endpoints": [
9
      {
10
        "name": "<имя сети>",
11
        "network": "projects/<проект>/networks/<сеть>",
12
        "brokerAddresses": [
13
          {
14
            "spec": {
15
              "subnet": "projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>"
16
            }
17
          },
18
          {
19
            "spec": {
20
              "subnet": "projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>"
21
            }
22
          },
23
          {
24
            "spec": {
25
              "subnet": "projects/<имя проекта>/networks/<имя сети>/subnets/<имя подсети>"
26
            }
27
          }
28
        ]
29
      }
30
    ],
31
    "instances": {
32
      "broker": {
33
        "vmType": "<тип ВМ — например, vmTypes/gen-2-4>",
34
        "disk": {
35
          "size": "<размер диска в гигабайтах — например, 50GB>",
36
          "type": "<тип диска — например, NETWORK_STANDARD_SSD>",
37
          "iops": <количество IOPS — например, 1000>
38
        },
39
        "allocation": [
40
          {
41
            "zone": "<зона доступности — ru-central1-a или ru-central1-b>",
42
            "count": <количество узлов — 3>
43
          }
44
        ]
45
      },
46
      "controller": {
47
        "vmType": "<тип ВМ — например, vmTypes/gen-2-4>",
48
        "disk": {
49
          "size": "<размер диска в гигабайтах — например, 10GB>",
50
          "type": "<тип диска — например, NETWORK_STANDARD_SSD>",
51
          "iops": <количество IOPS — например, 1000>
52
        },
53
        "allocation": [
54
          {
55
            "zone": "<зона доступности — ru-central1-a или ru-central1-b>",
56
            "count": <количество узлов — 3>
57
          }
58
        ]
59
      }
60
    }
61
  }
62
}

Допустимое значение IOPS: от 1 000 до 10 000, кратное 100. Если значение не задано, применится значение по умолчанию.

Размер диска	Значение IOPS
10–32 ГБ	1 000
33–64 ГБ	2 000
65–96 ГБ	3 000
97–128 ГБ	4 000
129–160 ГБ	5 000
161–192 ГБ	6 000
193–224 ГБ	7 000
225–256 ГБ	8 000
257–288 ГБ	9 000
289 ГБ — максимальный	10 000

Выполните запрос:
bash
```
1
curl -X POST https://mkafka.mwsapis.ru/mkafka/v1/projects/<имя проекта>/clusters/<имя кластера> \
2
  -H "Authorization: Bearer <IAM-токен>" \
3
  -H "Content-Type: application/json" \
4
  -d '@<путь к файлу с JSON-объектом>'
```
Если запрос был успешно принят, вы получите ответ с кодом 200 OK. Если кластер был создан успешно, в ответе будут выведены параметры кластера.

Проверьте статус кластера:

1
curl -X GET https://mkafka.mwsapis.ru/mkafka/v1/projects/<имя проекта>/clusters/<имя кластера> \
2
  -H "Authorization: Bearer <IAM-токен>"

Чтобы начать работу с кластером, подключитесь к нему.