Обзор

Managed Kafka — это сервис для управления кластерами Apache Kafka. Apache Kafka — это платформа для обработки потоков данных большого объема в реальном времени.

Сервис поддерживает Apache Kafka версии 4.0.

• Управление IoT-устройствами
  Прием и анализ большого потока показаний с устройств интернета вещей, например, для умного дома или телеметрии.

• Интеграция данных для аналитики и ML
  Построение конвейеров для передачи информации между операционными системами, аналитическими платформами и ML-моделями.

• Персонализация и аналитика в реальном времени
  Обработка действий пользователей на сайте или в приложении для формирования персональных предложений и мгновенных уведомлений.

• Мониторинг и отладка систем
  Централизованный сбор журналов событий для оперативного расследования инцидентов и поиска корневых причин сбоев.

• Высокая пропускная способность
  Сервис обеспечивает обработку миллионов сообщений в секунду. Это позволяет приложениям стабильно работать под высокой нагрузкой без необходимости масштабирования.

• Надежность и устойчивость к сбоям
  За счет репликации данных между брокерами кластер устойчив к сбоям на уровне узлов. Это обеспечивает сохранность сообщений и гарантирует их доставку даже при выходе из строя отдельных узлов системы.

• Автоматизация управления
  Сервис обеспечивает автоматизированное развертывание, настройку и обновление кластера, управление топиками и мониторинг.

• Контроль доступа
  Настройки доступа на уровнях платформы и каждого кластера позволяют разграничить права для разных пользователей и систем и обеспечивают соответствие политикам безопасности.

• Единая платформа для оперативной и исторической аналитики
  В сервисе доступна как обработка данных в реальном времени, так и воспроизведение записи за выбранный период времени для повторной обработки. Это позволяет одновременно строить оперативные и аналитические системы на одной платформе. Например, на основе одного потока данных можно фиксировать аномалии в событиях, а потом проводить анализ по историческим данным.

Основа Managed Kafka — кластер. Это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных. Брокер — узел кластера, на котором запущен экземпляр Kafka. Поступающие данные распределяются между брокерами для надежности и отказоустойчивости. Распределение данных между брокерами и управление состоянием брокеров внутри кластера обеспечивают контроллеры.

Потоки данных направляются в топики. Каждый топик состоит из одного или нескольких разделов, в которые записываются входящие сообщения.

Данные поступают в топики от производителей (producers) — приложений или сервисов-источников, например, от сайтов, мобильных приложений или систем телеметрии. Поступающими данными могут быть действия пользователей, показания датчиков и другие события.

Потребители (consumers) — приложения и сервисы-получатели — читают и обрабатывают эти данные. Например, рекомендательная система читает из топика действия пользователей на сайте, а система мониторинга читает показания датчиков телеметрии. Каждый потребитель работает независимо и в своем темпе.

В multi-node-кластере разделы топика распределяются между брокерами. Например, если в топике Telemetry 5 разделов, они распределятся между брокерами в количестве 1, 2 и 2. При включенной репликации данных в топике копии разделов хранятся на нескольких брокерах кластера. Брокер, обрабатывающий запросы на запись и чтение для конкретного раздела, называется его лидером. В случае сбоя брокера-лидера его разделы автоматически перераспределяются между остальными брокерами кластера.

Для доступа к данным в кластере создаются пользователи кластера с ролями CLUSTER_ADMIN, PRODUCER или CONSUMER.

Доступ к кластерам и топикам регулируется сервисными ролями.

Чтобы начать пользоваться сервисом Managed Kafka, его нужно активировать. Для этого достаточно, имея роль admin на уровне проекта, нажать кнопку Активировать на странице сервиса.