Ребалансировка high-availability-кластера
Последнее обновление
Для high-availability-кластера доступна ребалансировка — автоматическое перераспределение разделов между брокерами с учетом текущего состояния кластера.
Ребалансировка запускается в следующих случаях:
- При изменении фактора репликации топика. В этом случае ребалансировка запускается немедленно.
- Разделы или реплики в кластере не распределены оптимально. В этом случае ребалансировка запустится в ближайшее сервисное окно кластера.
В обоих случаях ребалансировку нужно предварительно включить.
Оптимальность распределения
Распределение разделов и реплик считается оптимальным, если одновременно выполняются условия:
- Нагрузка распределена равномерно. Загрузка брокеров по CPU, диску, сети и числу реплик отличается от средней по кластеру не более допустимого порога в 110%. Нет явно перегруженных брокеров.
- Все брокеры доступны.
- Реплики одного раздела размещаются в разных зонах.
- Использование диска на брокере не превышает 80% от общей емкости диска, CPU — 70%, входящей и исходящей сети — 80%.
- Количество реплик на каждом брокере не превышает 10000.
- Метрики в норме. Нет устойчивых аномалий и пиков, указывающих на деградацию отдельного брокера или неравномерную нагрузку.
При соблюдении этих условий ребалансировка не даст выигрыша, и следовательно, не будет запущена. Если одно из условий нарушается, кластер автоматически запустит ребалансировку во время сервисного окна.
Включение и выключение ребалансировки
Включить ребалансировку можно при создании или изменении кластера.
При этом:
- Опция Инструменты ребалансировки партиций (
balancer-enabled) задействует инструменты балансировки разделов, но не включает ребалансировку во время сервисного окна. Ребалансировка будет работать только при изменении фактора репликации топика. - Опция Автоматическая ребалансировка партиций в сервисное окно (
balancer-auto-rebalance) включает автоматическую ребалансировку кластера во время его сервисного окна. Опция дополняет предыдущую: при ее включении ребалансировка при изменении фактора репликации также остается активной.
Обе опции ребалансировки в дальнейшем можно отключить и повторно включить без остановки кластера. При включении или выключении опций кластер выполнит последовательный перезапуск брокеров по одному (rolling update).