Обзор

Кластер Managed Kafka — это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных с помощью Apache Kafka. В облачной инфраструктуре кластер — единый интерфейс для управления потоками данных в реальном времени.

Работать с кластером можно через веб-консоль, через API или с помощью консольной утилиты MWS CLI.

Типы кластеров

Standalone-кластер

Standalone-кластер — это минимальная конфигурация с 1 брокером и 1 контроллером, где все компоненты работают на одном узле. Такой кластер подходит только для сценариев, где отказоустойчивость не критична, так как отказ единственного узла может привести к недоступности сервиса до его восстановления. Например, standalone-кластер можно использовать для тестирования, разработки или обучения.

Multi-node-кластер

Multi-node-кластер — это конфигурация с тремя брокерами и тремя KRaft-контроллерами. По умолчанию данные реплицируются между узлами. Узлы кластера размещаются в одной зоне доступности.

Multi-node-кластер может быть с выделенным или комбинированным типом размещения узлов. При выделенном типе размещения все брокеры и все KRaft-контроллеры размещаются на отдельных узлах. Такая конфигурация эффективнее управляет нагрузкой и обеспечивает более высокую доступность и надежность.

При комбинированном типе размещения на одном узле размещаются по одному брокеру и одному KRaft-контроллеру. Такая конфигурация подходит для разработки и тестирования.

Сервисное окно

Для каждого типа кластера задается сервисное окно — промежуток времени, когда с кластером начинаются плановые работы со стороны сервиса: обновления версии, установка патчей, техническое обслуживание. Сервисное окно позволяет вносить изменения в предсказуемое время, минимально затрагивать рабочие процессы и заранее переключить нагрузку.

Статус кластера

Состояние	Описание
`CREATING`	Кластер создается
`RUNNING`	Кластер работает в штатном режиме
`STOPPING`	Кластер останавливается
`STOPPED`	Кластер остановлен
`STARTING`	Кластер запускается после остановки
`UPDATING`	Кластер обновляется
`ERROR`	Ошибка. Необходимо участие технической поддержки
`DELETING`	Кластер удаляется
`DELETED`	Кластер удален
`UNIDENTIFIED`	Не удается определить статус кластера

Состояние кластера

Статус	Описание
`ALIVE`	Кластер активен. Его можно использовать
`DEGRADED`	Часть узлов недоступна. Кластер функционирует. Рекомендуется избегать высокой нагрузки
`FAILED`	Кластер недоступен. Необходимо восстановить работоспособность
`UNKNOWN`	Не удалось получить данные о работоспособности узлов

Подключение к кластеру

Для чтения и записи данных в Managed Kafka нужно подключиться к брокерам кластера через эндпоинт. По умолчанию эндпоинты недоступны из внешней сети — доступ выдается через правила файрвола.

Точкой входа в кластер служит любой доступный брокер — bootstrap-сервер. Обращаясь к bootstrap-серверу, пользователь получает метаданные кластера: адреса всех брокеров и информацию, какие брокеры являются лидерами разделов топика. На основе этих метаданных клиент Kafka устанавливает зашифрованное соединение с нужными брокерами. Для шифрования используется SSL-сертификат, выпущенный MWS Cloud Platform.

Для подключения к кластеру используются:

IP-адрес эндпоинта брокера;
порт подключения:
- 9095 — для подключения из внутренней сети;
- 9101 — для подключения из внешней сети;
имя пользователя кластера и пароль;
файл с конфигурацией подключения.

Мониторинг кластера

Получить статистику производительности кластера можно с помощью сервиса мониторинга.

Сервис мониторинга отслеживает следующие метрики:

Количество активных брокеров в кластере, шт.
Количество недоступных разделов на брокерах, шт.
Скорость поступления сообщений, шт/с на брокерах.
Отставание потребителя (сообщений) на брокерах, шт.
Количество ошибок топиков на брокерах, шт.

Ошибками топиков считаются только ошибки, связанные с неожиданными сбоями в процессе обработки запросов на стороне брокера. Ошибки при валидации запроса и внутренние проблемы кластера не учитываются.
Потребление CPU на брокерах и KRaft-контроллерах, vCPU: всего выделено и фактически потреблено.
Потребление RAM на брокерах и KRaft-контроллерах, ГБ: всего выделено и фактически потреблено.
Потребление дискового пространства на брокерах и KRaft-контроллерах, ГБ: всего выделено и фактически потреблено.

Получать данные мониторинга можно следующими способами:

просматривать графики за выбранный период и в режиме онлайн-мониторинга;
получать метрики через API сервиса мониторинга, в том числе с помощью Prometheus.

Особенности и ограничения

На ресурс распространяются квоты и лимиты.
После удаления восстановить кластер и все его ресурсы невозможно.