Кластер Managed Kafka — это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных с помощью Apache Kafka. В облачной инфраструктуре кластер — единый интерфейс для управления потоками данных в реальном времени

1
resource "mws_vpc_network" "network" {
2
  network = var.network_name
3
}
4

5
resource "mws_vpc_subnet" "subnet_a" {
6
  subnet  = "${var.subnet_name}-a"
7
  network = mws_vpc_network.network.network
8
  cidr    = var.subnet_cidr_a
9
}
10

11
resource "mws_vpc_subnet" "subnet_b" {
12
  subnet  = "${var.subnet_name}-b"
13
  network = mws_vpc_network.network.network
14
  cidr    = var.subnet_cidr_b
15
}
16

17
resource "mws_vpc_address" "broker_addr_1" {
18
  address = "${var.kafka_name}-broker-addr-1"
19
  network = mws_vpc_network.network.network
20
  subnet  = mws_vpc_subnet.subnet_a.metadata.id
21
}
22

23
resource "mws_vpc_address" "broker_addr_2" {
24
  address = "${var.kafka_name}-broker-addr-2"
25
  network = mws_vpc_network.network.network
26
  subnet  = mws_vpc_subnet.subnet_b.metadata.id
27
}
28

29
resource "mws_vpc_address" "broker_addr_3" {
30
  address = "${var.kafka_name}-broker-addr-3"
31
  network = mws_vpc_network.network.network
32
  subnet  = mws_vpc_subnet.subnet_b.metadata.id
33
}
34

35
resource "mws_mkafka_cluster" "example" {
36
  cluster = var.kafka_name
37
  version = "4.0"
38

39
  metadata = {
40
    display_name = "Example Kafka Cluster"
41
    description  = "Managed Kafka cluster example with VPC endpoints"
42
  }
43

44
  active = true
45

46
  endpoints = [
47
    {
48
      name    = "vpc-endpoint"
49
      network = mws_vpc_network.network.metadata.id
50
      broker_addresses = [
51
        { ref = mws_vpc_address.broker_addr_1.id },
52
        { ref = mws_vpc_address.broker_addr_2.id },
53
        { ref = mws_vpc_address.broker_addr_3.id }
54
      ]
55
    }
56
  ]
57

58
  instances = {
59
    broker = {
60
      vm_type = "compute/vmTypes/gen-2-4"
61
      disk = {
62
        size = "10Gb"
63
        type = "NETWORK_STANDARD_SSD"
64
      }
65
      allocation = [
66
        {
67
          zone  = "ru-central1-b"
68
          count = 3
69
        }
70
      ]
71
    }
72
    controller = {
73
      combined_with_broker = false
74
      vm_type              = "compute/vmTypes/gen-2-4"
75
      disk = {
76
        size = "10Gb"
77
        type = "NETWORK_STANDARD_SSD"
78
      }
79
      allocation = [
80
        {
81
          zone  = "ru-central1-b"
82
          count = 3
83
        }
84
      ]
85
    }
86
  }
87

88
  maintenance_window = {
89
    weekly = {
90
      days = ["TUESDAY"]
91
      hour = 4
92
    }
93
  }
94
  timeouts = {
95
    create = "1h"
96
    update = "1h"
97
    delete = "1h"
98
  }
99
}
100

101
variable "network_name" {
102
  type        = string
103
  default     = "kafka-vpc-network"
104
  description = "VPC network name"
105
}
106

107
variable "subnet_name" {
108
  type        = string
109
  default     = "kafka-subnet"
110
  description = "Base name for subnets"
111
}
112

113
variable "subnet_cidr_a" {
114
  type        = string
115
  default     = "192.168.1.0/24"
116
  description = "CIDR for subnet A"
117
}
118

119
variable "subnet_cidr_b" {
120
  type        = string
121
  default     = "192.168.2.0/24"
122
  description = "CIDR for subnet B"
123
}
124

125
variable "kafka_name" {
126
  type        = string
127
  default     = "kafka-cluster"
128
  description = "Kafka cluster name"
129
}

• cluster (String) Название или идентификатор кластера.
• endpoints (Attributes List) Описание эндпойнтов в сетях пользователя (VPC) для подключения к брокерам кластера. (see below for nested schema)
• instances (Attributes) Описание ресурсов хостов брокеров и контроллеров. (see below for nested schema)
• version (String) Версия продукта.

• active (Boolean) Значение включен/выключен кластер.
• kind (String)
• maintenance_window (Attributes) (see below for nested schema)
• metadata (Attributes) (see below for nested schema)
• product_config (String) Настройки Kafka. Если не указаны, будут использованы настройки по-умолчанию.
• project (String) Путь к проекту
• schema_registry (Attributes) Настройка Schema Registry для кластера. (see below for nested schema)
• timeouts (Attributes) (see below for nested schema)

• id (String) The ID of this resource.
• status (Attributes) (see below for nested schema)

Required:

• broker_addresses (Attributes List) Список адресов в пользовательской сети, на которые “отображаются” брокеры. (see below for nested schema)
• name (String) Имя эндпойнта.
• network (String) Идентификатор пользовательской сети (VPC).

Optional:

• external_access (Attributes) Настройка внешнего доступа к кластеру Kafka. (see below for nested schema)

Optional:

• ref (String) Идентификатор существующего адреса.
• spec (Attributes) Спецификация нового адреса. Адрес будет выделен в ходе реконсиляции кластера. (see below for nested schema)

Required:

• subnet (String) Идентификатор подсети, в которой необходимо выделить адрес.

Required:

• allowed (Boolean) Назначить внешние адреса для кластера Kafka.

Optional:

• broker_addresses (Attributes List) Список внешних адресов, используемых для настройки доступа к кластеру Kafka. Если флаг “allowed” установлен в true и адреса не указаны, внешние адреса будут выделены автоматически. (see below for nested schema)

Optional:

• ref (String) Идентификатор существующего внешнего адреса.
• spec (Attributes) Спецификация нового внешнего адреса. Адрес будет выделен в ходе реконсиляции кластера. (see below for nested schema)

Required:

• broker (Attributes) Параметры виртуальной машины, где будет работать брокер Кафки. (see below for nested schema)
• controller (Attributes) Параметры виртуальной машины, где будет работать KRaft контроллер Кафки. (see below for nested schema)

Required:

• disk (Attributes) Параметры диска с данными на узле кластера. (see below for nested schema)
• vm_type (String) Тип виртуальной машины, описывающий ресурсы (vCPU, memory).

Optional:

• allocation (Attributes List) Параметры размещения брокеров по зонам. (see below for nested schema)

Required:

• size (String) Размер диска.

Optional:

• iops (Number) Количество дисковых операций в секунду.
• type (String) Тип используемого диска:

• “NETWORK_STANDARD_SSD” — сетевой SSD

Required:

• count (Number) Количество брокеров в зоне/подсети.
• zone (String) Зона расположения узла.

Optional:

• allocation (Attributes List) Параметры размещения контроллеров по зонам. (see below for nested schema)
• combined_with_broker (Boolean) Размещать контроллеры на тех же виртуальных машинах, что и брокеры
• disk (Attributes) Параметры диска с данными на узле кластера. (see below for nested schema)
• vm_type (String) Тип виртуальной машины, описывающий ресурсы (vCPU, memory).

Required:

• count (Number) Количество брокеров в зоне/подсети.
• zone (String) Зона расположения узла.

Required:

• size (String) Размер диска.

Optional:

• iops (Number) Количество дисковых операций в секунду.
• type (String) Тип используемого диска:

• “NETWORK_STANDARD_SSD” — сетевой SSD

Required:

• weekly (Attributes) (see below for nested schema)

Required:

• days (List of String) Дни недели, в который будет запущено задание на тех.обслуживание
• hour (Number) Час, в который будет запущено задание на тех.обслуживание

Optional:

• duration (String) Допустимая продолжительность процесса обновления. Если не указано, то не ограничено по времени. Принимается только формат в часах (h)

Optional:

• description (String) Описание ресурса.
• display_name (String) Отображаемое имя. Необязательное поле, можно свободно задавать и изменять для удобства организации ресурсов.

Read-Only:

• create_time (String) Дата создания объекта.
• delete_time (String) Время запроса на удаление ресурса (не фактическое время удаления).
• id (String) ссылка на типизированный референс
• purge_time (String)
• usages (Attributes List) Связи с другими ресурсами. В зависимости от типа связи, операции над ресурсом могут быть ограничены. (see below for nested schema)

Read-Only:

• name (String) Имя связи, требуется для модификации коллекции
• resource (String) ссылка на ресурс
• usage_type (String) Тип связи. Помимо стандартных own и use могут быть добавлены специализированные типы для конкретных сервисов

Optional:

• enabled (Boolean) Включить Schema Registry в кластере.

Optional:

• create (String) A string that can be parsed as a duration consisting of numbers and unit suffixes, such as ”30s” or “2h45m”. Valid time units are “s” (seconds), “m” (minutes), “h” (hours).
• delete (String) A string that can be parsed as a duration consisting of numbers and unit suffixes, such as ”30s” or “2h45m”. Valid time units are “s” (seconds), “m” (minutes), “h” (hours). Setting a timeout for a Delete operation is only applicable if changes are saved into state before the destroy operation occurs.
• update (String) A string that can be parsed as a duration consisting of numbers and unit suffixes, such as ”30s” or “2h45m”. Valid time units are “s” (seconds), “m” (minutes), “h” (hours).

Read-Only:

• effective_kafka_config (Map of String) Конфигурация параметров кластера после валидации и преобразования из пользователского ввода
• endpoints (Attributes List) Описание эндпойнтов в сетях пользователя (VPC) для подключения к брокерам кластера. (see below for nested schema)
• health (String) Работоспособность кластера

  • “ALIVE” - Полностью работоспособен
  • “DEGRADED” - Деградирует (некоторые, но не все, экземпляры неработоспособны)
  • “FAILED” - Неработоспособен
  • “UNKNOWN” - Не удаётся определить состояние (на этапе создания)
• instances (Attributes) Описание ресурсов хостов брокеров и контроллеров. (see below for nested schema)
• maintenance_window (Attributes) (see below for nested schema)
• message (String)
• ready (Attributes) Информация о статусе реконсиляции (see below for nested schema)
• schema_registry (Attributes) Настройка Schema Registry для кластера. (see below for nested schema)
• state (String) Состояние кластера

  • “CREATING” - Создаётся
  • “RUNNING” - Работает в штатном режиме
  • “STOPPING” - Останавливается
  • “STOPPED” - Остановлен
  • “STARTING” - Запуск ранее остановленного
  • “UPDATING” - Выполняется обновление
  • “ERROR” - Произошла ошибка, требуется участие команды поддержки
  • “DELETING” - Удаляется
  • “DELETED” - Удалён
  • “UNIDENTIFIED” - Не удаётся определить статус
  • “RESTORING” - Восстанавливается

Read-Only:

• bootstrap_servers (String) Список адресов для первоначального подключения к кластеру внутри пользовательской (VPC).
• broker_addresses (Attributes List) Список адресов в пользовательской сети, на которые “отображаются” брокеры. (see below for nested schema)
• external_access (Attributes) Настройка внешнего доступа к кластеру Kafka. (see below for nested schema)
• name (String) Имя эндпойнта.
• network (String) Идентификатор пользовательской сети (VPC).
• port (Number) Порт для доступа к кластеру Kafka внутри пользовательской сети (VPC).
• schema_registry (Attributes) Адреса Schema Registry во внутренней сети (VPC). (see below for nested schema)

Read-Only:

• dns (Attributes List) Доменные имена. (see below for nested schema)
• ip_address (String) Выделенный адрес.
• ref (String) Идентификатор адреса.
• subnet (String) Подсеть, в которой выделен адрес.

Read-Only:

• name (String)

Read-Only:

• allowed (Boolean) Назначить внешние адреса для кластера Kafka.
• bootstrap_servers (String) Список адресов для первоначального подключения к кластеру Apache Kafka из внешней сети.
• broker_addresses (Attributes List) Список внешних адресов, выделенных для брокеров Kafka. (see below for nested schema)
• port (Number) Порт, используемый для доступа к кластеру Kafka из внешней сети.
• schema_registry (Attributes) Внешние HTTPS-адреса Schema Registry. (see below for nested schema)

Read-Only:

• ip_address (String) Выделенный адрес.
• managed (Boolean) False если ссылка на внешний адрес был указана в спецификации, true если адрес был создан
• ref (String) Идентификатор адреса.

Read-Only:

• urls (List of String) Список HTTPS URL Schema Registry.

Read-Only:

• urls (List of String) Список HTTPS URL Schema Registry.

Read-Only:

• broker (Attributes) Параметры виртуальной машины, где работает брокер Кафки. (see below for nested schema)
• controller (Attributes) Параметры виртуальной машины, где работает контроллер. (see below for nested schema)

Read-Only:

• disk (Attributes) Параметры диска с данными на узле кластера Managed Kafka. (see below for nested schema)

Read-Only:

• iops (Number) Количество дисковых операций в секунду.

Read-Only:

• combined_with_broker (Boolean) Контроллеры размещаются на тех же виртуальных машинах, что и брокеры
• disk (Attributes) Параметры диска с данными на узле кластера Managed Kafka. (see below for nested schema)

Read-Only:

• iops (Number) Количество дисковых операций в секунду.

Required:

• weekly (Attributes) (see below for nested schema)

Required:

• days (List of String) Дни недели, в который будет запущено задание на тех.обслуживание
• hour (Number) Час, в который будет запущено задание на тех.обслуживание

Optional:

• duration (String) Допустимая продолжительность процесса обновления. Если не указано, то не ограничено по времени. Принимается только формат в часах (h)

Read-Only:

• message (String) Описание статуса
• state (String) Состояние ресурса

Optional:

• enabled (Boolean) Включить Schema Registry в кластере.