Перейти к содержимому

Ребалансировка high-availability-кластера

Последнее обновление

Для high-availability-кластера доступна ребалансировка — автоматическое перераспределение разделов между брокерами с учетом текущего состояния кластера.

Ребалансировка запускается в следующих случаях:

  • При изменении фактора репликации топика. В этом случае ребалансировка запускается немедленно.
  • Разделы или реплики в кластере не распределены оптимально. В этом случае ребалансировка запустится в ближайшее сервисное окно кластера.

В обоих случаях ребалансировку нужно предварительно включить.

Оптимальность распределения

Распределение разделов и реплик считается оптимальным, если одновременно выполняются условия:

  • Нагрузка распределена равномерно. Загрузка брокеров по CPU, диску, сети и числу реплик отличается от средней по кластеру не более допустимого порога в 110%. Нет явно перегруженных брокеров.
  • Все брокеры доступны.
  • Реплики одного раздела размещаются в разных зонах.
  • Использование диска на брокере не превышает 80% от общей емкости диска, CPU — 70%, входящей и исходящей сети — 80%.
  • Количество реплик на каждом брокере не превышает 10000.
  • Метрики в норме. Нет устойчивых аномалий и пиков, указывающих на деградацию отдельного брокера или неравномерную нагрузку.

При соблюдении этих условий ребалансировка не даст выигрыша, и следовательно, не будет запущена. Если одно из условий нарушается, кластер автоматически запустит ребалансировку во время сервисного окна.

Включение и выключение ребалансировки

Включить ребалансировку можно при создании или изменении кластера.

При этом:

  • Опция Инструменты ребалансировки партиций (balancer-enabled) задействует инструменты балансировки разделов, но не включает ребалансировку во время сервисного окна. Ребалансировка будет работать только при изменении фактора репликации топика.
  • Опция Автоматическая ребалансировка партиций в сервисное окно (balancer-auto-rebalance) включает автоматическую ребалансировку кластера во время его сервисного окна. Опция дополняет предыдущую: при ее включении ребалансировка при изменении фактора репликации также остается активной.

Обе опции ребалансировки в дальнейшем можно отключить и повторно включить без остановки кластера. При включении или выключении опций кластер выполнит последовательный перезапуск брокеров по одному (rolling update).