Обзор
Для миграции данных между кластером и другими хранилищами данных в Managed Kafka используются коннекторы. Коннектор — встроенный компонент Kafka Connect, который использует стандартные механизмы Apache Kafka.
Функции коннектора:
- Подключение к кластеру и целевым системам хранения.
- Чтение данных из топиков кластера. Можно указать конкретные топики или задать шаблон, которому должны соответствовать имена топиков.
- Преобразование данных согласно заданным форматам.
- Запись данных во внешние системы.
- Управление процессом интеграции через настраиваемые политики и правила обработки.
Пропускная способность коннектора зависит от лимита параллельно выполняемых задач, заданного в конфигурации коннектора. Лимит задач определяет максимальное количество параллельно работающих процессов. Значение не может превышать общее количество разделов во всех выбранных топиках. Уменьшить лимит задач после создания коннектора невозможно.
Коннектор S3 Sink
Заголовок раздела «Коннектор S3 Sink»В Managed Kafka используются коннекторы S3 Sink. С их помощью можно экспортировать данные из топиков в бакет MWS Object Storage или другого S3-совместимого хранилища. Для авторизации подключения к бакету необходим сервисный аккаунт, а также HMAC-ключ этого сервисного аккаунта.
В бакете должна быть назначена роль storage.bucket.objectEditor для сервисного аккаунта.
Если данные экспортируются в стороннее S3-совместимое хранилище, то бакет, сервисный аккаунт и HMAC-ключ должны быть созданы в используемом S3-совместимом хранилище.
Для корректной десериализации сообщений из топика в настройках коннектора задается формат входных данных: json или string.
Данные, получаемые из топиков, сохраняются в бакет в виде файлов. Для записи в файл можно выбрать конкретные поля: key, value, offset, timestamp, headers. Сохранять данные можно как полноценный JSON-объект, выбирая конкретные поля для записи или записывая все поля без фильтрации. Если вы не планируете сохранять данные в виде JSON-объекта, выберите для записи одно поле.
Сохранять файлы можно в сжатом виде или не использовать сжатие. Доступные типы сжатия: gzip, snappy, zstd.
Коннектор S3 Sink поддерживает политику обработки ошибок DLQ (Dead Letter Queue): сообщения, обработанные с ошибками, отправляются в указанный DLQ-топик. При этом поток обработки не останавливается. DLQ-топиком может быть выбран любой существующий топик.
Статус коннектора
Заголовок раздела «Статус коннектора»Статус | Описание |
|---|---|
CREATING | Коннектор создается |
RUNNING | Коннектор работает в штатном режиме |
STOPPING | Коннектор останавливается |
STOPPED | Коннектор остановлен |
STARTING | Коннектор запускается после остановки |
UPDATING | Коннектор обновляется |
ERROR | Ошибка. Необходимо участие технической поддержки |
DELETING | Коннектор удаляется |
Состояние коннектора
Заголовок раздела «Состояние коннектора»Состояние | Описание |
|---|---|
ALIVE | Коннектор полностью работоспособен |
DEGRADED | Коннектор частично недоступен |
FAILED | Коннектор недоступен. Обратитесь в техническую поддержку для восстановления работоспособности |
UNKNOWN | Не удалось получить данные о работоспособности коннектора (на этапе создания) |
Особенности и ограничения
Заголовок раздела «Особенности и ограничения»- На ресурс распространяются квоты и лимиты.
- После удаления восстановить коннектор невозможно.
- Уменьшить максимальное количество параллельно выполняемых задач невозможно.
- Изменить формат входных данных для десериализации сообщений из топика после создания коннектора невозможно.