Обзор

Кластер Managed Kafka — это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных с помощью Apache Kafka. В облачной инфраструктуре кластер — единый интерфейс для управления потоками данных в реальном времени.

Работать с кластером можно через веб-консоль, через API или с помощью консольной утилиты MWS CLI.

Standalone-кластер — это минимальная конфигурация с 1 брокером и 1 контроллером, где все компоненты работают на одном узле. Такой кластер подходит только для сценариев, где отказоустойчивость не критична, так как отказ единственного узла может привести к недоступности сервиса до его восстановления. Например, standalone-кластер можно использовать для тестирования, разработки или обучения.

Multi-node-кластер — это конфигурация с тремя брокерами и тремя KRaft-контроллерами. По умолчанию данные реплицируются между узлами. Такая конфигурация эффективнее управляет нагрузкой и обеспечивает более высокую доступность и надежность. Узлы кластера размещается в одной зоне доступности.

Для каждого типа кластера задается сервисное окно — промежуток времени, когда с кластером начинаются плановые работы со стороны сервиса: обновления версии, установка патчей, техническое обслуживание. Сервисное окно позволяет вносить изменения в предсказуемое время, минимально затрагивать рабочие процессы и заранее переключить нагрузку.

Состояние	Описание
CREATING	Кластер создается
RUNNING	Кластер работает в штатном режиме
STOPPING	Кластер останавливается
STOPPED	Кластер остановлен
STARTING	Кластер запускается после остановки
UPDATING	Кластер обновляется
ERROR	Ошибка. Необходимо участие технической поддержки
DELETING	Кластер удаляется
DELETED	Кластер удален
UNIDENTIFIED	Не удается определить статус кластера

Статус	Описание
ALIVE	Кластер активен. Его можно использовать
DEGRADED	Часть узлов недоступна. Кластер функционирует. Рекомендуется избегать высокой нагрузки
FAILED	Кластер недоступен. Необходимо восстановить работоспособность
UNKNOWN	Не удалось получить данные о работоспособности узлов

Для чтения и записи данных в Managed Kafka нужно установить сетевое соединение с брокерами кластера. По умолчанию кластер недоступен из внешней сети. Доступ необходимо разрешить с помощью правил файрвола.

Для подключения используется bootstrap-сервер — любой доступный адрес брокера. Обращаясь к bootstrap-серверу, пользователь получает метаданные кластера: адреса всех брокеров и информацию, какие брокеры являются лидерами разделов топика.

Для шифрования соединения используется SSL-сертификат, выпущенный MWS Cloud Platform.

Получить статистику производительности кластера можно с помощью сервиса мониторинга.

Сервис мониторинга отслеживает следующие метрики:

• Количество активных брокеров в кластере, шт.

• Количество недоступных разделов на брокерах, шт.

• Скорость поступления сообщений, шт/с на брокерах.

• Отставание потребителя (сообщений) на брокерах, шт.

• Количество ошибок топиков на брокерах, шт.

  Ошибками топиков считаются только ошибки, связанные с неожиданными сбоями в процессе обработки запросов на стороне брокера. Ошибки при валидации запроса и внутренние проблемы кластера не учитываются.

• Потребление CPU на брокерах и KRaft-контроллерах, vCPU: всего выделено и фактически потреблено.

• Потребление RAM на брокерах и KRaft-контроллерах, ГБ: всего выделено и фактически потреблено.

• Потребление дискового пространства на брокерах и KRaft-контроллерах, ГБ: всего выделено и фактически потреблено.

Просмотреть данные мониторинга в виде графиков можно через веб-консоль.

• На ресурс распространяются квоты и лимиты.
• После удаления восстановить кластер и все его ресурсы невозможно.

Операция	Комментарий
Создание кластера	Для работы с Managed Kafka создайте кластер
Получение списка кластеров	Вы можете посмотреть полный список кластеров проекта с детализацией
Получение информации о кластере	После создания кластера вы можете посмотреть подробную информацию о нем
Остановка кластера	Остановите кластер, если не планируете использовать его некоторое время
Запуск кластера	Запустите кластер, если планируете использовать его снова
Настройка внешнего IP-адрса	Вы можете настроить внешние IP-адреса брокеров в кластере
Удаление кластера	Вы можете удалить кластер, если больше не планируете его использовать. Все данные кластера будут удалены без возможности восстановления