Гибридное хранилище

Гибридное хранилище позволяет автоматически распределять данные между двумя уровнями хранения:

• Горячий уровень (том hot) — для актуальных, часто запрашиваемых данных. Эти данные хранятся на сетевых SSD-дисках узлов кластера, что обеспечивает высокую скорость выполнения аналитических запросов.

• Холодный уровень (том cold) — для старых, редко используемых данных. Для этих данных используется объектное хранилище S3, что экономичнее, но запросы к нему выполняются медленнее.

Данные автоматически переносятся из горячего в холодное хранилище по двум причинам:

• из-за заполненности SSD-диска;
• по истечении количества дней, заданного в схеме таблицы с помощью параметра TTL (time to live).

Обратно из холодного в горячее хранилище данные не переносятся автоматически, но вы можете переместить данные вручную с помощью команд MOVE PARTITION и MOVE PART. Также можно в любой момент переместить данные вручную из горячего в холодное хранилище. При перемещении политика хранения таблицы и правила TTL не меняются.

Гибридное хранилище включается на уровне кластера, при этом на основе заданных параметров хранилища автоматически создается единственная политика хранения default. Изменить эту политику напрямую или создать другие политики хранения невозможно. Чтобы таблица использовала гибридное хранилище, установите для нее созданную политику хранения default. Служебный бакет в объектном хранилище и доступы к нему полностью управляются MWS Cloud Platform.

Подключение гибридного хранилища доступно через API и MWS CLI. Для подключения и настройки укажите нужные значения параметров хранилища. Если значения не заданы, применятся значения по умолчанию.

На основе заданных параметров и параметров кластера автоматически формируется недоступный пользователю системный XML-файл с правилами распределения данных между горячим и холодным хранилищами. Если для таблицы заданы правила TTL, они применяются поверх этой конфигурации.

Минимальная доля свободного места на SSD-диске — от 0.01 до 1. Когда свободного места становится меньше указанного значения, самые старые и самые большие части данных начнут переноситься из горячего в холодное хранилище. Перенос данных выполняется без перезапуска кластера.

Значение по умолчанию: 0.1.

Максимальный размер части данных, который может храниться на SSD-диске. Если размер части превышает указанное значение, эта часть сразу запишется в холодное хранилище.

Значение по умолчанию: 10737418240 Б (10 ГБ).

Включено ли кеширование данных объектного хранилища на SSD-диске. Если кеширование включено, при повторных запросах к одним и тем же данным из холодного хранилища данные читаются из кеша на SSD-диске. За счет этого чтение ускоряется.

Значение по умолчанию: false.

Максимальный размер кеша объектного хранилища на SSD-диске. Применяется, если включено кеширование данных dataCachingEnabled. Когда кеш достигает заданного размера, наименее востребованные данные вытесняются.

Значение по умолчанию: 1073741824 Б (1 ГБ).