Обзор

Кластер Managed ClickHouse — это группа узлов (виртуальных машин), объединенных для высокоскоростной обработки и хранения данных с помощью СУБД ClickHouse. В облачной инфраструктуре кластер — единый интерфейс управления оперативной аналитической обработкой данных (OLAP, On-Line Analytical Processing) в реальном времени.

Типы кластеров

Standalone-кластер

Standalone-кластер имеет конфигурацию из одного шарда с одним узлом с данными в единственном экземпляре. Такой кластер подходит только для сценариев, где отказоустойчивость не критична, так как отказ единственного узла может привести к недоступности сервиса до его восстановления. Например, standalone-кластер можно использовать для тестирования, разработки или обучения.

Multi-Node-кластер

В multi-node-кластере может быть 2 или 4 узла с данными. Если включено шардирование, узлы распределяются между шардами. При репликации данные записываются на один узел и реплицируются на другие. Узлы кластера размещаются в разных зонах доступности. Такая архитектура кластера эффективнее управляет нагрузкой и обеспечивает более высокую доступность и надежность.

Кластер также включает 3 узла-координатора ClickHouse Keeper. Они обеспечивают согласованность метаданных и координируют служебные операции через кворумное принятие решений по алгоритму Raft.

Распределение узлов по шардам

Количество шардов	Количество узлов в каждом шарде	Размещение узлов	Количество узлов всего
4	1	По 2 в 2 зонах доступности	4
2	2	По 2 в 2 зонах доступности	4
1	4	По 2 в 2 зонах доступности	4
1	2	По 1 в 2 зонах доступности	2

Сервисное окно

Для каждого типа кластера задается сервисное окно — промежуток времени, когда с кластером начинаются плановые работы со стороны сервиса: обновления версии, установка патчей, техническое обслуживание. Сервисное окно позволяет вносить изменения в предсказуемое время, минимально затрагивать рабочие процессы и заранее переключить нагрузку.

Время старта резервного копирования кластера и время старта сервисного окна могут не совпадать.

Статус кластера

Статус	Описание
`CREATING`	Кластер создается
`RUNNING`	Кластер работает в штатном режиме
`STOPPED`	Кластер остановлен
`UPDATING`	Кластер обновляется
`ERROR`	Ошибка. Необходимо участие технической поддержки
`DELETING`	Кластер удаляется
`DELETED`	Кластер удален
`UNIDENTIFIED`	Не удается определить статус
`RESTORING`	Кластер восстанавливается из резервной копии

Состояние кластера

Состояние	Описание
`ALIVE`	Кластер активен. Его можно использовать
`DEGRADED`	Часть узлов недоступна. Кластер функционирует. Рекомендуется избегать высокой нагрузки
`FAILED`	Кластер недоступен. Для восстановления работоспособности следуйте рекомендациям в подсказке или обратитесь в техническую поддержку
`UNKNOWN`	Не удалось получить данные о работоспособности узлов

Подключение к кластеру

Для чтения и записи данных в Managed ClickHouse нужно подключиться к кластеру через эндпоинт. По умолчанию эндпоинты недоступны из внешней сети. Доступ необходимо разрешить с помощью правил файрвола. При подключении к любому эндпоинту устанавливается зашифрованное соединение. Для этого используется SSL-сертификат, выпущенный MWS Cloud Platform.

Вы можете подключиться:

к случайному активному узлу кластера,
к случайному активному узлу шарда,
к конкретному узлу.

Для подключения используются:

IP-адрес ресурса, к которому нужно подключиться;
порт подключения 9440 для подключения по протоколу TCP с использованием SSL-сертификата;
имя и пароль пользователя, от имени которого будет выполнено подключение.

Мониторинг кластера

Получить статистику производительности кластера можно с помощью сервиса мониторинга.

Сервис мониторинга отслеживает следующие метрики:

Объем физической памяти (RSS), фактически используемый процессом ClickHouse на сервере, МБ.
Объем памяти, используемой служебными структурами ClickHouse, ГБ.
Количество неудачных запросов, шт.
Текущее количество выполняющихся запросов, шт.
Количество строк, вставленных в таблицы, шт.
Объем данных, вставленных в таблицы в несжатом виде, КБ.
Количество успешных загрузок кусков данных (PART) с реплик, шт.
Количество неудачных попыток загрузки кусков данных (PART) с реплик, шт.
Количество реплицируемых таблиц в состоянии readOnly, шт.
Количество запущенных фоновых merge-операций, шт.
Потребление CPU на узлах кластера, vCPU: всего выделено и фактически потреблено.
Потребление RAM на узлах кластера, ГБ: всего выделено и фактически потреблено.
Потребление дискового пространства на узлах кластера, ГБ: всего выделено и фактически потреблено.

Получать данные мониторинга можно следующими способами:

просматривать графики за выбранный период и в режиме онлайн-мониторинга;
получать метрики через API сервиса мониторинга, в том числе с помощью Prometheus.

Особенности и ограничения

На ресурс распространяются квоты и лимиты.
После удаления восстановить кластер и все его ресурсы невозможно.