Кластер Managed Kafka — это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных с помощью Apache Kafka. В облачной инфраструктуре кластер — единый интерфейс для управления потоками данных в реальном времени

1
resource "mws_vpc_network" "network" {
2
  network = var.network_name
3
}
4

5
resource "mws_vpc_subnet" "subnet_a" {
6
  subnet  = "${var.subnet_name}-a"
7
  network = mws_vpc_network.network.network
8
  cidr    = var.subnet_cidr_a
9
}
10

11
resource "mws_vpc_subnet" "subnet_b" {
12
  subnet  = "${var.subnet_name}-b"
13
  network = mws_vpc_network.network.network
14
  cidr    = var.subnet_cidr_b
15
}
16

17
resource "mws_vpc_address" "broker_addr_1" {
18
  address = "${var.kafka_name}-broker-addr-1"
19
  network = mws_vpc_network.network.network
20
  subnet  = mws_vpc_subnet.subnet_a.metadata.id
21
}
22

23
resource "mws_vpc_address" "broker_addr_2" {
24
  address = "${var.kafka_name}-broker-addr-2"
25
  network = mws_vpc_network.network.network
26
  subnet  = mws_vpc_subnet.subnet_b.metadata.id
27
}
28

29
resource "mws_vpc_address" "broker_addr_3" {
30
  address = "${var.kafka_name}-broker-addr-3"
31
  network = mws_vpc_network.network.network
32
  subnet  = mws_vpc_subnet.subnet_b.metadata.id
33
}
34

35
resource "mws_mkafka_cluster" "example" {
36
  cluster = var.kafka_name
37
  version = "4.0"
38

39
  metadata = {
40
    display_name = "Example Kafka Cluster"
41
    description  = "Managed Kafka cluster example with VPC endpoints"
42
  }
43

44
  active = true
45

46
  endpoints = [
47
    {
48
      name    = "vpc-endpoint"
49
      network = mws_vpc_network.network.metadata.id
50
      broker_addresses = [
51
        { ref = mws_vpc_address.broker_addr_1.id },
52
        { ref = mws_vpc_address.broker_addr_2.id },
53
        { ref = mws_vpc_address.broker_addr_3.id }
54
      ]
55
    }
56
  ]
57

58
  instances = {
59
    broker = {
60
      vm_type = "compute/vmTypes/gen-2-4"
61
      disk = {
62
        size = "10Gb"
63
        type = "NETWORK_STANDARD_SSD"
64
      }
65
      allocation = [
66
        {
67
          zone  = "ru-central1-b"
68
          count = 3
69
        }
70
      ]
71
    }
72
    controller = {
73
      combined_with_broker = false
74
      vm_type              = "compute/vmTypes/gen-2-4"
75
      disk = {
76
        size = "10Gb"
77
        type = "NETWORK_STANDARD_SSD"
78
      }
79
      allocation = [
80
        {
81
          zone  = "ru-central1-b"
82
          count = 3
83
        }
84
      ]
85
    }
86
  }
87

88
  maintenance_window = {
89
    weekly = {
90
      days = ["TUESDAY"]
91
      hour = 4
92
    }
93
  }
94
  timeouts = {
95
    create = "1h"
96
    update = "1h"
97
    delete = "1h"
98
  }
99
}
100

101
variable "network_name" {
102
  type        = string
103
  default     = "kafka-vpc-network"
104
  description = "VPC network name"
105
}
106

107
variable "subnet_name" {
108
  type        = string
109
  default     = "kafka-subnet"
110
  description = "Base name for subnets"
111
}
112

113
variable "subnet_cidr_a" {
114
  type        = string
115
  default     = "192.168.1.0/24"
116
  description = "CIDR for subnet A"
117
}
118

119
variable "subnet_cidr_b" {
120
  type        = string
121
  default     = "192.168.2.0/24"
122
  description = "CIDR for subnet B"
123
}
124

125
variable "kafka_name" {
126
  type        = string
127
  default     = "kafka-cluster"
128
  description = "Kafka cluster name"
129
}

• cluster (String) Название или идентификатор кластера.
• endpoints (Attributes List) Описание эндпойнтов в сетях пользователя (VPC) для подключения к брокерам кластера (see below for nested schema)
• instances (Attributes) Описание ресурсов хостов брокеров и контроллеров (see below for nested schema)
• version (String) Версия продукта

• active (Boolean) Состояние кластера — включен или выключен
• balancer (Attributes) Настройка балансировщика кластера (see below for nested schema)
• kind (String)
• maintenance_window (Attributes) (see below for nested schema)
• metadata (Attributes) (see below for nested schema)
• product_config (String) Настройки Kafka. Если не указаны, будут использованы настройки по умолчанию
• project (String) Путь к проекту.
• region (String) Регион, которому принадлежит кластер
• schema_registry (Attributes) Настройка Schema Registry для кластера (see below for nested schema)
• timeouts (Attributes) (see below for nested schema)

• id (String) The ID of this resource.
• status (Attributes) (see below for nested schema)

Required:

• broker_addresses (Attributes List) Список адресов в пользовательской сети, на которые “отображаются” брокеры (see below for nested schema)
• name (String) Имя эндпойнта
• network (String) Идентификатор пользовательской сети (VPC)

Optional:

• external_access (Attributes) Настройка внешнего доступа к кластеру Kafka (see below for nested schema)

Optional:

• ref (String) Идентификатор существующего адреса
• spec (Attributes) Спецификация нового адреса. Адрес будет выделен в ходе реконсиляции кластера (see below for nested schema)

Required:

• subnet (String) Идентификатор подсети, в которой необходимо выделить адрес

Required:

• allowed (Boolean) Назначить внешние адреса для кластера Kafka

Optional:

• broker_addresses (Attributes List) Список внешних адресов, используемых для настройки доступа к кластеру Kafka. Если флаг “allowed” установлен в true и адреса не указаны, внешние адреса будут выделены автоматически (see below for nested schema)

Optional:

• ref (String) Идентификатор существующего внешнего адреса
• spec (Attributes) Спецификация нового внешнего адреса. Адрес будет выделен в ходе реконсиляции кластера (see below for nested schema)

Required:

• broker (Attributes) Параметры виртуальной машины, где будет работать брокер Кафки (see below for nested schema)
• controller (Attributes) Параметры виртуальной машины, где будет работать KRaft контроллер Кафки (see below for nested schema)

Required:

• disk (Attributes) Параметры диска с данными на узле кластера (see below for nested schema)
• vm_type (String) Тип виртуальной машины, описывающий ресурсы (vCPU, memory)

Optional:

• allocation (Attributes List) Параметры размещения брокеров по зонам (see below for nested schema)

Required:

• size (String) Размер диска

Размер в байтах. Формат: <число> [единица измерения]. Допустимые единицы измерения: “B”, “KB”, “MB”, “GB”, “TB”, “PB”, “EB”, “ZB”, “YB”, “RB”, “QB”. По умолчанию: “B”. Допустимые значения — положительные целые числа и дробные числа с ненулевой целой частью. Значение базовой единицы измерения (в байтах) должно оставаться целым. Регистр и лишние пробелы перед строкой, после строки и между ее частями игнорируются

Optional:

• iops (Number) Количество дисковых операций в секунду
• type (String) Тип используемого диска:

• “NETWORK_STANDARD_SSD” — сетевой SSD

Required:

• count (Number) Количество брокеров в зоне/подсети
• zone (String) Зона расположения узла

Optional:

• allocation (Attributes List) Параметры размещения контроллеров по зонам (see below for nested schema)
• combined_with_broker (Boolean) Размещать контроллеры на тех же виртуальных машинах, что и брокеры
• disk (Attributes) Параметры диска с данными на узле кластера (see below for nested schema)
• vm_type (String) Тип виртуальной машины, описывающий ресурсы (vCPU, memory)

Required:

• count (Number) Количество брокеров в зоне/подсети
• zone (String) Зона расположения узла

Required:

• size (String) Размер диска

Размер в байтах. Формат: <число> [единица измерения]. Допустимые единицы измерения: “B”, “KB”, “MB”, “GB”, “TB”, “PB”, “EB”, “ZB”, “YB”, “RB”, “QB”. По умолчанию: “B”. Допустимые значения — положительные целые числа и дробные числа с ненулевой целой частью. Значение базовой единицы измерения (в байтах) должно оставаться целым. Регистр и лишние пробелы перед строкой, после строки и между ее частями игнорируются

Optional:

• iops (Number) Количество дисковых операций в секунду
• type (String) Тип используемого диска:

• “NETWORK_STANDARD_SSD” — сетевой SSD

Optional:

• auto_rebalance (Boolean) Если включено - запускать автоматическую ребалансировку во время сервисного окна
• enabled (Boolean) Состояние балансировщика — включен или выключен

Required:

• weekly (Attributes) (see below for nested schema)

Required:

• days (List of String) Дни недели, в которые будет запущено задание на тех. обслуживание
• hour (Number) Час, в который будет запущено задание на тех. обслуживание

Optional:

• duration (String) Допустимая продолжительность процесса обновления. Если не указано, то не ограничено по времени. Принимается только формат в часах (h)

Период времени. Поддерживаются следующие форматы:

• ISO 8601: P(n)DT(n)H(n)M(n)S. Допустимые единицы измерения: дни (“D”), часы (“H”), минуты (“M”), секунды (“S”). Только секунды могут быть дробными
• Простой формат. Допустимые единицы измерения: “d”, “h”, “m”, “s”, “ms”, “us”, “ns”. Величины должны следовать по убыванию единиц измерения
• Число в секундах

Отрицательные значения обозначаются префиксом ”-”, в простом формате могут быть ограничены скобками. Регистр и пробелы игнорируются

Optional:

• description (String) Описание ресурса
• display_name (String) Отображаемое имя. Необязательное поле, можно свободно задавать и изменять для удобства организации ресурсов

Read-Only:

• create_time (String) Дата создания объекта

Дата в формате RFC3339. Пример: 2006-01-02T15:04:05Z07:00

• delete_time (String) Время запроса на удаление ресурса (не фактическое время удаления)

Дата в формате RFC3339. Пример: 2006-01-02T15:04:05Z07:00

• id (String) Ссылка на типизированный референс
• purge_time (String) Дата в формате RFC3339. Пример: 2006-01-02T15:04:05Z07:00
• usages (Attributes List) Связи с другими ресурсами. В зависимости от типа связи операции над ресурсом могут быть ограничены (see below for nested schema)

Read-Only:

• name (String) Имя связи. Требуется для модификации коллекции
• resource (String) Ссылка на ресурс
• usage_type (String) Тип связи. Помимо стандартных “own” и “use” могут быть добавлены специализированные типы для конкретных сервисов

Optional:

• enabled (Boolean) Включить Schema Registry в кластере

Optional:

• create (String) A string that can be parsed as a duration consisting of numbers and unit suffixes, such as ”30s” or “2h45m”. Valid time units are “s” (seconds), “m” (minutes), “h” (hours).
• delete (String) A string that can be parsed as a duration consisting of numbers and unit suffixes, such as ”30s” or “2h45m”. Valid time units are “s” (seconds), “m” (minutes), “h” (hours). Setting a timeout for a Delete operation is only applicable if changes are saved into state before the destroy operation occurs.
• update (String) A string that can be parsed as a duration consisting of numbers and unit suffixes, such as ”30s” or “2h45m”. Valid time units are “s” (seconds), “m” (minutes), “h” (hours).

Read-Only:

• balancer (Attributes) Настройка балансировщика кластера (see below for nested schema)
• effective_kafka_config (Map of String) Конфигурация параметров кластера после валидации и преобразования из пользователского ввода
• endpoints (Attributes List) Описание эндпойнтов в сетях пользователя (VPC) для подключения к брокерам кластера (see below for nested schema)
• health (String) Работоспособность кластера:

  • “ALIVE” - Полностью работоспособен;
  • “DEGRADED” - Деградирует (некоторые, но не все, экземпляры неработоспособны);
  • “FAILED” - Неработоспособен;
  • “UNKNOWN” - Не удаётся определить состояние (на этапе создания)
• instances (Attributes) Описание ресурсов хостов брокеров и контроллеров (see below for nested schema)
• maintenance_window (Attributes) (see below for nested schema)
• message (String)
• ready (Attributes) Информация о статусе реконсиляции (see below for nested schema)
• region (String) Регион, которому принадлежит кластер
• schema_registry (Attributes) Настройка Schema Registry для кластера (see below for nested schema)
• state (String) Состояние кластера:

  • “CREATING” - Создаётся;
  • “RUNNING” - Работает в штатном режиме;
  • “STOPPING” - Останавливается;
  • “STOPPED” - Остановлен;
  • “STARTING” - Запуск ранее остановленного;
  • “UPDATING” - Выполняется обновление;
  • “ERROR” - Произошла ошибка, требуется участие команды поддержки;
  • “DELETING” - Удаляется;
  • “DELETED” - Удалён;
  • “UNIDENTIFIED” - Не удаётся определить статус;
  • “RESTORING” - Восстанавливается

Optional:

• auto_rebalance (Boolean) Если включено - запускать автоматическую ребалансировку во время сервисного окна
• enabled (Boolean) Состояние балансировщика — включен или выключен

Read-Only:

• bootstrap_servers (String) Список адресов для первоначального подключения к кластеру внутри пользовательской (VPC)
• broker_addresses (Attributes List) Список адресов в пользовательской сети, на которые “отображаются” брокеры (see below for nested schema)
• external_access (Attributes) Настройка внешнего доступа к кластеру Kafka (see below for nested schema)
• name (String) Имя эндпойнта
• network (String) Идентификатор пользовательской сети (VPC)
• port (Number) Порт для доступа к кластеру Kafka внутри пользовательской сети (VPC)
• schema_registry (Attributes) Адреса Schema Registry во внутренней сети (VPC) (see below for nested schema)

Read-Only:

• dns (Attributes List) Доменные имена (see below for nested schema)
• ip_address (String) Выделенный адрес

IPv4- или IPv6-адрес

• ref (String) Идентификатор адреса
• subnet (String) Подсеть, в которой выделен адрес

Read-Only:

• name (String)

Read-Only:

• allowed (Boolean) Назначить внешние адреса для кластера Kafka
• bootstrap_servers (String) Список адресов для первоначального подключения к кластеру Apache Kafka из внешней сети
• broker_addresses (Attributes List) Список внешних адресов, выделенных для брокеров Kafka (see below for nested schema)
• port (Number) Порт, используемый для доступа к кластеру Kafka из внешней сети
• schema_registry (Attributes) Внешние HTTPS-адреса Schema Registry (see below for nested schema)

Read-Only:

• ip_address (String) Выделенный адрес

IPv4- или IPv6-адрес

• managed (Boolean) False если ссылка на внешний адрес был указана в спецификации, true если адрес был создан
• ref (String) Идентификатор адреса

Read-Only:

• urls (List of String) Список HTTPS URL Schema Registry

Read-Only:

• urls (List of String) Список HTTPS URL Schema Registry

Read-Only:

• broker (Attributes) Параметры виртуальной машины, где работает брокер Кафки (see below for nested schema)
• controller (Attributes) Параметры виртуальной машины, где работает контроллер (see below for nested schema)

Read-Only:

• disk (Attributes) Параметры диска с данными на узле кластера Managed Kafka (see below for nested schema)

Read-Only:

• iops (Number) Количество дисковых операций в секунду

Read-Only:

• combined_with_broker (Boolean) Контроллеры размещаются на тех же виртуальных машинах, что и брокеры
• disk (Attributes) Параметры диска с данными на узле кластера Managed Kafka (see below for nested schema)

Read-Only:

• iops (Number) Количество дисковых операций в секунду

Required:

• weekly (Attributes) (see below for nested schema)

Required:

• days (List of String) Дни недели, в которые будет запущено задание на тех. обслуживание
• hour (Number) Час, в который будет запущено задание на тех. обслуживание

Optional:

• duration (String) Допустимая продолжительность процесса обновления. Если не указано, то не ограничено по времени. Принимается только формат в часах (h)

Период времени. Поддерживаются следующие форматы:

• ISO 8601: P(n)DT(n)H(n)M(n)S. Допустимые единицы измерения: дни (“D”), часы (“H”), минуты (“M”), секунды (“S”). Только секунды могут быть дробными
• Простой формат. Допустимые единицы измерения: “d”, “h”, “m”, “s”, “ms”, “us”, “ns”. Величины должны следовать по убыванию единиц измерения
• Число в секундах

Отрицательные значения обозначаются префиксом ”-”, в простом формате могут быть ограничены скобками. Регистр и пробелы игнорируются

Read-Only:

• message (String) Описание статуса
• state (String) Состояние ресурса

Optional:

• enabled (Boolean) Включить Schema Registry в кластере