Параметры кластера
В Managed Kafka вы можете задавать следующие параметры кластера:
Параметр | Описание | Значение по умолчанию |
|---|---|---|
Compression type | Кодек для сжатия сообщений. Применяется без перезапуска кластера | Producer |
Default replication factor | Значение фактора репликации по умолчанию, если оно не задано при создании топика. Для применения кластер автоматически перезапустится | Минимум: количество брокеров кластера или 3 |
Log flush interval messages | Количество сообщений, которое должно накопиться для гарантированной записи на диск. Например, 1 — сообщение сразу попадает на диск; 5 — на диск записываются группы из пяти сообщений.Применяется без перезапуска кластера | 9223372036854775807 (фактически соответствует отсутствию ограничения) |
Log flush interval, ms | Максимальное время в миллисекундах до гарантированной записи сообщений на диск. Применяется без перезапуска кластера | Null. Используется Log flush scheduler interval, ms |
Log flush scheduler interval, ms | Периодичность в миллисекундах, с которой проверяется необходимость записи лога на диск. Для применения кластер автоматически перезапустится | 9223372036854775807 (фактически соответствует отсутствию ограничения) |
Log preallocate | Доступность создания пустых файлов логов заранее, чтобы уменьшить задержки записи. Применяется без перезапуска кластера | False |
Log retention, bytes | Максимальный размер раздела в байтах, после которого старые сегменты лога начнут удаляться, если действует политика очистки лога Delete.Применяется без перезапуска кластера | -1 |
Log retention, hours | Время в часах, в течение которого сегменты лога хранятся в топике перед автоматическим удалением, если действует политика очистки лога Delete.Для применения кластер автоматически перезапустится | 168 (7 суток) |
Log retention, minutes | Время в минутах, в течение которого сегменты лога хранятся в топике перед автоматическим удалением, если действует политика очистки лога Delete.Для применения кластер автоматически перезапустится | Null |
Log retention, ms | Время в миллисекундах, в течение которого сегменты лога хранятся в топике перед автоматическим удалением, если действует политика очистки лога Delete.Применяется без перезапуска кластера | Null |
Log segment, bytes | Максимальный размер сегмента лога в байтах для сохранения и очистки. Применяется без перезапуска кластера | 1073741824 (1 ГБ) |
Message max, bytes | Максимальный размер сообщения в байтах, которое может быть отправлено в топик. Применяется без перезапуска кластера | 1048588 (примерно 1 МБ) |
Num partitions | Количество разделов в топике. Определяет максимальное число процессов-потребителей, которые могут получать данные топика одновременно. Для применения кластер автоматически перезапустится | 1 |
Offsets retention, minutes | Время в минутах, в течение которого хранится информация о последней позиции потребителей. Если потребитель не активен дольше этого срока, его история чтения удаляется. Для применения кластер автоматически перезапустится | 10080 (7 суток) |
Replica fetch max, bytes | Размер буфера межброкерных сообщений в байтах. Для применения кластер автоматически перезапустится | 1048576 (1 МБ) |
Socket receive buffer, bytes | Размер буфера для сокета приема в байтах. Для применения кластер автоматически перезапустится | 102400 (100 КБ) |
Socket send buffer, bytes | Размер буфера для сокета отправки в байтах. Для применения кластер автоматически перезапустится | 102400 (100 КБ) |
Min in-sync replicas | Минимальное количество реплик раздела, которые должны быть в актуальном состоянии (in-sync), чтобы брокер считал запись успешной.Применяется без перезапуска кластера | Максимум: 1 или (фактор репликации - 1) |
Также кластер имеет системный неизменяемый параметр Auto create topics enable для управления автоматическим созданием топиков. Он отключен для всех кластеров и имеет значение False. Это предотвращает неконтролируемое создание топиков приложениями, повышает безопасность и позволяет контролировать ресурсы кластера.