Создание кластера Kafka при помощи OpenAPI

Чтобы работать с сервисами облака MWS при помощи API, у вас должны быть созданы:

1. Учетная запись в облаке MWS. Как зарегистрироваться…
2. Платежный аккаунт. Подробнее…

Для подключения того или иного сервиса облака на балансе вашего платежного аккаунта должны присутствовать средства в соответствующем объеме. Также вы можете использовать гранты.

Для создания кластера Kafka (сервис Managed Kafka) потребуются:

1. Авторизационный токен — $TOKEN.

   Все API запросы выполняются от имени пользователя. Токен генерируется для пользователя при выполнении запроса на авторизацию. Также можно использовать токен, созданный для сервисного аккаунта. Подробнее…

   Пример авторизационного токена

   1
   eyJhbGciOiJSUzUxMiIsInR5cCI6IkpXVCJ9.eyJzdWIiOiIwMmVmY2U2My01Y2YzLTQxOWEtOTllYi1kYzNiNWVkNGM3NzYiLCJleHAiOjE2ODUwMjYxNzcsImlhdCI6MTY4NTAxMTc4OCwidiI6MiwicCI6Im1uKlRyQEx6cDIvU20oSGQpS3p4OXU5WFx1MDAzZUBXNGdCRzJxPXdcdTAwM2V9bmNPeUE2Yz9BUkJBcF4hbmI3XHUwMDNjeGdbJD1xNkFGU0kyLXVCa15IckItMHpqZ2lbOi5dUUIjOU1NUkJve3ZcdTAwMjZieGJ0fUwyNCFVNTpYckRGRlI3QjlzR0wlSF50XnY4UnJVSC86OTNwXWNiLSF9QHUkXVNIVkIkU2JKZ0chP3g6WWhUUDJGIy1zSmJcdTAwM2VrVS5Wb0A5bEN3RElRVVd4L0Eld1NpNlVlRSppY2JPSXVPKXNVMkdyNFVnVCNCXHUwMDNleTJ4d1hNaFQhVXF0RkwzbXNIa312Sl1pdH0_MWVIZmNXc2FpRC9BfUVxWV1uQTYxTjdMISVbKSRGUSMpTFQ9azd0R3pjKzJCPVNlTiRQT0Z6NXpyTkdxYkF6cz8vVTgyZ2NMLVx1MDAzZWNcdTAwM2NyLiNUdEBVMDlkc2l5bnNKOmxZbWFBcTUxMnslbmZZTnMqMFd3R3trKTAvdio_QV5lW14rXHUwMDI2WTZxezp6ckdJaFx1MDAzY083cWFATFx1MDAzY01YW0UrVElFVVBmeSgoanVDS2NQOGNXQUl0XlJpOUcqYk9yIn0.foWauILeaASkOnzCHgaWinGPlj5SNT44xqpQPLFNAY3f-1oUmtWPcmCGeRjMKLYQ2A9ZAOk9ZLaT49oOtjXjVAdY46Ni4MHJOkHtzRksgl9rZHdNwSQbQwTnjbR0sgf2BUaGkdoR3yY3udXYOCGfpbL5nAZKEZoeVyc0fHWtGvy2V9ocjWQiP12hiJhfd2vl1s8gpX4PofP9KaaurpbmTDQ8rfHY1i4u33bU0HtabnkcgmeplU0J_2gFbsBsLpcXszgPeiUAg8ep5JB3A1_PNmz86dcM3m7e223y3KUP3vxlmejDZQFJImvlcL0727JC-_RSRWeUHiyArbjrwyNgowZtbmnsH65ssPTZwoMNhU5X5yVIj_um2EesEd2FIt1R4T56vXeagF2Bln8GRfZLaut06kN2a6i4lWr-JV7xZbeT9n9t58Yyyk6Z7IjwwsDVGOJTPY_jhBP8U4mpFBAo__bjtfi4u6cNgoo6bSrNR0ud9wLTta8aUxqz47bCmjtgmovhTLXWw0pOJmMb7UiBcL3IKNoVSkoiqTJSqArMO72fMquizKXyT4HVghPIt5mgDQOdsxKiZ-2L4dvBW_72U8mkd4VwOAcRwYcM6xfQcko6aPYiaGrAgpvWZ8iRUdFfqaW63V6SSweRcbnU9UwDfUSVZ7i3lZsPqhalLmUEj9c

2. Идентификатор проекта — $PROJECTID.

   Любой сервис в облаке MWS создается в рамках проекта. Вы можете:

   • Создать новый проект при помощи API-запроса.
   • Использовать уже созданный проект (например, тот, который был создан автоматически при регистрации вашей учетной записи в облаке). Его идентификатор можно узнать на Дашборде в консоли управления (правая верхняя часть экрана).

   Идентификатор проекта имеет формат UUID, пример: 09b992c3-1223-41e7-bd81-cfeae5f7fb5c.

3. Идентификатор сети — network_id и идентификатор подсети — subnetwork_id, а также (опционально) IP-адрес — публичный IP-адрес.

   Для работы кластера Kafka нужна выделенная виртуальная сеть и подсеть (а также IP-адрес — опционально). Если у вас уже есть созданные сеть/подсеть/IP-адрес, используйте их. Также вы можете создать новые при помощи API-запросов.

   Идентификаторы сети/подсети/IP-адреса имеют формат UUID.

Последовательность шагов для создания сервиса Kafka в облаке MWS через API — следующая:

1. Авторизуйтесь (опционально; можете использовать токен сервисного аккаунта, если он создан).
2. Создайте проект (опционально; можете использовать существующий).
3. Создайте виртуальную сеть (опционально; можете использовать существующую, если она уже создана).
4. Создайте виртуальную подсеть (опционально; можете использовать существующую, если она уже создана).
5. Создайте IP-адрес (опционально; нужен только для доступа к кластеру извне облака).
6. Создайте кластер Kafka.
7. Создайте топик.
8. Создайте пользователя кластера.

• Если у вас есть токен сервисного аккаунта — пропустите этот шаг.

• Если у вас нет токена сервисного аккаунта:

  • Авторизуйтесь при помощи запроса POST /iam/v2/tokens — в ответе будет возвращен токен. Используйте его в дальнейших запросах.

• Если вы хотите использовать уже созданный проект — пропустите этот шаг.
• Для создания нового проекта выполните запрос POST /apis/projects/public/v4/projects.

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/apis/projects/public/v4/projects' \
2
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
3
--header 'Content-Type: application/json' \
4
--header "Authorization: Bearer $TOKEN" \
5
--data '{
6
  "name": "Test OpenAPI",
7
  "description": "Проект для тестирования OpenAPI"
8
}'

• Если вы хотите использовать уже созданную виртуальную сеть — пропустите этот шаг.
• Для создания новой сети выполните запрос POST /ocs/v1/services.

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
3
--header 'Content-Type: application/json' \
4
--header "Authorization: Bearer $TOKEN" \
5
--data '{
6
  "platform": {
7
    "productCode": "network",
8
    "regionCode": "msk"
9
  },
10
  "kind": "network",
11
  "metadata": {
12
    "description": "test OpenAPI network",
13
    "title": "openapi-network"
14
  },
15
  "projectId": "'$PROJECTID'",
16
  "spec": {
17
    "mts.extensions.network": {
18
        "bandwidth_mbps": 100,
19
        "default_gfw_rule_action": "allow"
20
    }
21
  },
22
  "zoneCode": "msk-avntg"
23
}
24
'

• Если вы хотите использовать уже созданную подсеть — пропустите этот шаг.
• Для создания новой подсети выполните запрос POST /ocs/v1/services.

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
3
--header 'Content-Type: application/json' \
4
--header "Authorization: Bearer $TOKEN" \
5
--data '{
6
    "platform": {
7
        "productCode": "network",
8
        "regionCode": "msk"
9
    },
10
    "kind": "subnet",
11
    "metadata": {
12
        "description": "test OpenAPI subnetwork",
13
        "title": "openapi-subnetwork"
14
    },
15
    "parentBinding": {
16
        "targetId": "8d114c29-d579-41b3-a4d9-7fd0ac20a0d3"
17
    },
18
    "projectId": "'$PROJECTID'",
19
    "spec": {
20
        "mts.extensions.subnet": {
21
            "cidr": "10.100.15.0/24"
22
        }
23
    },
24
    "zoneCode": "msk-avntg"
25
}'

В примере выше:

• в параметре "targetId": "8d114c29-d579-41b3-a4d9-7fd0ac20a0d3" указывается ID сети, в которой создается подсеть.

• Если вы хотите использовать уже созданный IP-адрес — пропустите этот шаг.
• Для создания нового IP-адреса выполните запрос POST /ocs/v1/services.

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
3
--header 'Content-Type: application/json' \
4
--header "Authorization: Bearer $TOKEN" \
5
--data '{
6
    "platform": {
7
        "productCode": "network",
8
        "regionCode": "msk"
9
    },
10
    "kind": "ip",
11
    "metadata": {
12
        "description": "test OpenAPI ip",
13
        "title": "openapi-ip-address"
14
    },
15
    "parentBinding": {
16
        "targetId": "8d114c29-d579-41b3-a4d9-7fd0ac20a0d3"
17
    },
18
    "projectId": "'$PROJECTID'",
19
    "spec": {},
20
    "zoneCode": "msk-avntg"
21
}'

В примере выше:

• в параметре "targetId": "8d114c29-d579-41b3-a4d9-7fd0ac20a0d3" указывается ID сети, в которой создается IP-адрес.

Выполняется запросом POST /ocs/v1/services, в котором необходимо передать:

• prodjectId, network_id, subnetwork_id — их можно взять из ответов предыдущих API-запросов;
• параметры создаваемого кластера.

  Параметры кластера

  Instance Type

  Instance Type	Description
  c1.medium	1 CPU, 2 GB RAM
  c1.large	1 CPU, 4 GB RAM
  c2.small	2 CPU, 2 GB RAM
  c2.medium	2 CPU, 4 GB RAM
  c2.large	2 CPU, 8 GB RAM
  c4.small	4 CPU, 4 GB RAM
  c4.medium	4 CPU, 8 GB RAM
  c4.large	4 CPU, 16 GB RAM
  c6.small	6 CPU, 6 GB RAM
  c6.medium	6 CPU, 12 GB RAM
  c6.large	6 CPU, 18 GB RAM
  c8.small	8 CPU, 8 GB RAM
  c8.medium	8 CPU, 16 GB RAM
  c8.large	8 CPU, 24 GB RAM
  c10.small	10 CPU, 10 GB RAM
  c10.medium	10 CPU, 20 GB RAM
  c10.large	10 CPU, 30 GB RAM
  c12.small	12 CPU, 12 GB RAM
  c12.medium	12 CPU, 24 GB RAM
  c12.large	12 CPU, 48 GB RAM
  c16.small	16 CPU, 16 GB RAM
  c16.medium	16 CPU, 32 GB RAM
  c16.large	16 CPU, 64 GB RAM
  c20.small	20 CPU, 20 GB RAM
  c20.medium	20 CPU, 40 GB RAM
  c20.large	20 CPU, 80 GB RAM
  c24.small	24 CPU, 24 GB RAM
  c24.medium	24 CPU, 48 GB RAM
  c24.large	24 CPU, 96 GB RAM

  Disk Type

  Disk Type	Min IOPS
  ssd.basic	200
  ssd.fast	500
  ssd.ultra	1000
  ssd.ultra-plus	5000

  CPU Utilization Level

  CPU Utilization Level	Description
  low	20%
  medium	50%
  high	100%

  Kafka version

  Kafka version
  2.8.1
  3.1.0

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header 'Content-Type: application/json' \
3
--header 'Accept: application/json' \
4
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
5
--header "Authorization: Bearer $TOKEN" \
6
--data-raw '{
7
  "platform": {
8
    "productCode": "mts-kafka",
9
    "regionCode": "msk"
10
  },
11
  "kind": "compute",
12
  "metadata": {
13
    "description": "kafka-openapi",
14
    "title": "kafka-openapi-test"
15
  },
16
  "projectId": "'$PROJECTID'",
17
  "spec": {
18
    "mts.extensions.kafka": {
19
        "instance_count": 1,
20
        "instance_cpu_utilization": "low",
21
        "instance_disk_size": 50,
22
        "instance_disk_type": "ssd.basic",
23
        "instance_type": "c1.medium",
24
        "kafka_version": "3.1.0",
25
        "network_id": "8d114c29-d579-41b3-a4d9-7fd0ac20a0d3",
26
        "subnetwork_cidr": "10.100.15.0/24",
27
        "subnetwork_id": "16eddc2e-97a5-4960-b870-ee5a7797cb59"
28
    }
29
  },
30
  "zoneCode": "msk-avntg"
31
}'

В примере запроса выше:

• при помощи параметра "network_id", "subnetwork_cidr" и subnetwork_id указываются ID созданных сети/подсети.

Если вам требуется в дальнейшем подключаться к созданному кластеру Kafka извне MWS, то помимо параметров кластера в примере выше, дополнительно укажите публичный IP-адрес для подключения к кластеру:
"white_host": "<IPv4 адрес в формате a.b.c.d>"

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header 'Content-Type: application/json' \
3
--header 'Accept: application/json' \
4
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
5
--header "Authorization: Bearer $TOKEN" \
6
--data-raw '{
7
  "platform": {
8
    "productCode": "mts-kafka",
9
    "regionCode": "msk"
10
  },
11
  "kind": "compute",
12
  "metadata": {
13
    "description": "kafka-openapi",
14
    "title": "kafka-openapi-test"
15
  },
16
  "projectId": "'$PROJECTID'",
17
  "spec": {
18
    "mts.extensions.kafka": {
19
        "instance_count": 1,
20
        "instance_cpu_utilization": "low",
21
        "instance_disk_size": 50,
22
        "instance_disk_type": "ssd.basic",
23
        "instance_type": "c1.medium",
24
        "kafka_version": "3.1.0",
25
        "network_id": "8d114c29-d579-41b3-a4d9-7fd0ac20a0d3",
26
        "subnetwork_cidr": "10.100.15.0/24",
27
        "subnetwork_id": "16eddc2e-97a5-4960-b870-ee5a7797cb59",
28
        "white_host": "10.21.192.131"
29
    }
30
  },
31
  "zoneCode": "msk-avntg"
32
}'

Выполняется запросом POST /ocs/v1/services, параметры топика передаются в теле запроса.

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header 'Content-Type: application/json' \
3
--header 'Accept: application/json' \
4
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
5
--header "Authorization: Bearer $TOKEN" \
6
--data-raw '{
7
  "platform": {
8
    "productCode": "mts-kafka",
9
    "regionCode": "msk"
10
  },
11
  "kind": "topic",
12
  "metadata": {
13
    "description": "topic-1",
14
    "title": "topic-1"
15
  },
16
  "parentBinding": {
17
    "targetId": "fb1f4d31-114e-4422-86d5-7c1c0bb6ed18"
18
  },
19
  "projectId": "09b992c3-1223-41e7-bd81-cfeae5f7fb5c",
20
  "spec": {
21
    "mts.extensions.topic":{
22
        "name":"topic-1",
23
        "num_partitions":30,
24
        "replication_factor":3,
25
        "compression_type":"producer",
26
        "max_message_bytes":1048588,
27
        "min_insync_replicas":2,
28
        "cleanup_policy":"delete",
29
        "min_compaction_lag_ms":"0",
30
        "max_compaction_lag_ms":"9223372036854775807",
31
        "delete_retention_ms":"86400000",
32
        "retention_bytes":"-1",
33
        "retention_ms":"604800000"
34
    }
35
  },
36
  "zoneCode": "msk-avntg"
37
}'

В примере выше:

• в параметре "targetId": "fb1f4d31-114e-4422-86d5-7c1c0bb6ed18" указывается ID созданного кластера Kafka.

Выполняется запросом POST /ocs/v1/services, параметры учетной записи пользователя передаются в теле запроса.

Пример запроса:

1
curl --location --request POST 'https://gateway.cloud.mts.ru/ocs/v1/services' \
2
--header 'Content-Type: application/json' \
3
--header 'Accept: application/json' \
4
--header "Idempotency-Key: $IDEMPOTENCYKEY" \
5
--header "Authorization: Bearer $TOKEN" \
6
--data-raw '{
7
  "platform": {
8
    "productCode": "mts-kafka",
9
    "regionCode": "msk"
10
  },
11
  "kind": "user",
12
  "metadata": {
13
    "description": "user-1",
14
    "title": "user-1"
15
  },
16
  "parentBinding": {
17
    "targetId": "fb1f4d31-114e-4422-86d5-7c1c0bb6ed18"
18
  },
19
  "projectId": "09b992c3-1223-41e7-bd81-cfeae5f7fb5c",
20
  "spec": {
21
    "mts.extensions.user":{
22
        "acls":[{
23
            "pattern":"*",
24
            "pattern_type":"literal",
25
            "operation":"rw"
26
        }],
27
        "name":"user-1",
28
        "password":"password-1",
29
        "groups_acls":[{
30
            "pattern":"*",
31
            "pattern_type":"literal"
32
        }]
33
    }
34
  },
35
  "zoneCode": "msk-avntg"
36
}'

В примере выше:

• в параметре "targetId": "fb1f4d31-114e-4422-86d5-7c1c0bb6ed18" указывается ID созданного кластера Kafka.

Процесс подключения к созданному кластеру описан в данном разделе документации.