Параметры топика
В Managed Kafka вы можете задавать следующие параметры топика:
Параметр | Описание | Значение по умолчанию |
|---|---|---|
Cleanup policy | Политика очистки старых сообщений лога | Delete |
Compression type | Кодек для сжатия сообщений | Значение compression.type кластера |
Delete delay, ms | Время ожидания в миллисекундах перед удалением файла из файловой системы | 60000 (1 минута) |
Delete retention, ms | Время в миллисекундах, в течение которого нужно хранить tombstone-маркеры удаления для топиков со сжатым логом | 86400000 (1 день) |
Flush messages | Количество сообщений топика, которое может накопиться в памяти до записи на диск | Значение log.flush.interval.messages кластера |
Flush, ms | Максимальное время в миллисекундах, в течение которого сообщение может храниться в памяти перед гарантированной записью на диск | Значение log.flush.interval.ms кластера |
Message max, bytes | Максимальный размер сообщения от производителя в байтах | Значение message.max.bytes кластера |
Min compaction lag, ms | Минимальное время в миллисекундах, в течение которого сообщение в логе будет оставаться несжатым | 0 |
Mininmum number of in-sync replicas | Минимальное количество реплик, которые должны подтвердить запись сообщения в топик, чтобы она считалась успешной | Значение фактора репликации. Если оно не задано: значение min.insync.replicas кластера |
Partitions | Количество разделов лога на один топик | Значение num.partitions кластера |
Pre-allocation of the segment file | Доступность заранее выделенного места под файлы сегментов лога | Значение log.preallocate кластера. Если оно не задано: false |
Replication factor | Фактор репликации | Значение default.replication.factor кластера |
Retention, bytes | Максимальный размер раздела в байтах, после которого старые сегменты лога удалятся, если действует политика очистки лога Delete | Значение log.retention.bytes кластера |
Retention, ms | Время в миллисекундах, в течение которого сегменты лога хранятся в топике перед автоматическим удалением, если действует политика очистки лога Delete | Значение log.retention.ms кластера. Если оно не задано: 604800000 (7 дней) |
Segment, bytes | Максимальный размер сегмента лога в байтах. Сохранение и очистка сегмента выполняются пофайлово. Чем меньше заданный размер сегмента, тем больше будет количество файлов лога, но контроль над хранением будет более гибким | Значение log.segment.bytes кластера |
Минимальные и максимальные допустимые значения параметров конфигурации топика указаны в официальной документации Kafka.