Обзор
Кластер Managed Kafka — это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных с помощью Apache Kafka. В облачной инфраструктуре кластер — единый интерфейс для управления потоками данных в реальном времени.
Работать с кластером можно через веб-консоль, через API или с помощью консольной утилиты MWS CLI.
Типы кластеров
Standalone-кластер
Standalone-кластер — это минимальная конфигурация с 1 брокером и 1 контроллером, где все компоненты работают на одном узле. Такой кластер подходит только для сценариев, где отказоустойчивость не критична, так как отказ единственного узла может привести к недоступности сервиса до его восстановления. Например, standalone-кластер можно использовать для тестирования, разработки или обучения.
Multi-node-кластер
Multi-node-кластер — это конфигурация с тремя брокерами и тремя KRaft-контроллерами. По умолчанию данные реплицируются между узлами. Такая конфигурация эффективнее управляет нагрузкой и обеспечивает более высокую доступность и надежность. Узлы кластера размещается в одной зоне доступности.
Сервисное окно
Для каждого типа кластера задается сервисное окно — промежуток времени, когда с кластером начинаются плановые работы со стороны сервиса: обновления версии, установка патчей, техническое обслуживание. Сервисное окно позволяет вносить изменения в предсказуемое время, минимально затрагивать рабочие процессы и заранее переключить нагрузку.
Статус кластера
Состояние | Описание |
|---|---|
CREATING | Кластер создается |
RUNNING | Кластер работает в штатном режиме |
STOPPING | Кластер останавливается |
STOPPED | Кластер остановлен |
STARTING | Кластер запускается после остановки |
UPDATING | Кластер обновляется |
ERROR | Ошибка. Необходимо участие технической поддержки |
DELETING | Кластер удаляется |
DELETED | Кластер удален |
UNIDENTIFIED | Не удается определить статус кластера |
Состояние кластера
Статус | Описание |
|---|---|
ALIVE | Кластер активен. Его можно использовать |
DEGRADED | Часть узлов недоступна. Кластер функционирует. Рекомендуется избегать высокой нагрузки |
FAILED | Кластер недоступен. Необходимо восстановить работоспособность |
UNKNOWN | Не удалось получить данные о работоспособности узлов |
Подключение к кластеру
Для чтения и записи данных в Managed Kafka нужно установить сетевое соединение с брокерами кластера. По умолчанию кластер недоступен из внешней сети. Доступ необходимо разрешить с помощью правил файрвола.
Для подключения используется bootstrap-сервер — любой доступный адрес брокера. Обращаясь к bootstrap-серверу, пользователь получает метаданные кластера: адреса всех брокеров и информацию, какие брокеры являются лидерами разделов топика.
Для шифрования соединения используется SSL-сертификат, выпущенный MWS Cloud Platform.
Особенности и ограничения
- На ресурс распространяются квоты и лимиты.
- После удаления восстановить кластер и все его ресурсы невозможно.
Доступные операции
Операция | Комментарий |
|---|---|
| Создание кластера | Для работы с Managed Kafka создайте кластер |
| Получение списка кластеров | Вы можете посмотреть полный список кластеров проекта с детализацией |
| Получение информации о кластере | После создания кластера вы можете посмотреть подробную информацию о нем |
| Остановка кластера | Остановите кластер, если не планируете использовать его некоторое время |
| Запуск кластера | Запустите кластер, если планируете использовать его снова |
| Настройка внешнего IP-адрса | Вы можете настроить внешние IP-адреса брокеров в кластере |
| Удаление кластера | Вы можете удалить кластер, если больше не планируете его использовать. Все данные кластера будут удалены без возможности восстановления |