Обзор
Важно
Сервис предоставляется на стадии готовности Preview.
Managed Kafka — это сервис для управления кластерами Apache Kafka. Apache Kafka — это платформа для обработки потоков данных большого объема в реальном времени.
Сервис поддерживает Apache Kafka версии 4.0.
Сценарии использования
Управление IoT-устройствами
Прием и анализ большого потока показаний с устройств интернета вещей, например, для умного дома или телеметрии.Интеграция данных для аналитики и ML
Построение конвейеров для передачи информации между операционными системами, аналитическими платформами и ML-моделями.Персонализация и аналитика в реальном времени
Обработка действий пользователей на сайте или в приложении для формирования персональных предложений и мгновенных уведомлений.Мониторинг и отладка систем
Централизованный сбор журналов событий для оперативного расследования инцидентов и поиска корневых причин сбоев.
Ключевые особенности
- Высокая пропускная способность
Сервис обеспечивает обработку миллионов сообщений в секунду. Это позволяет приложениям стабильно работать под высокой нагрузкой без необходимости масштабирования.
Надежность и устойчивость к сбоям
За счет репликации данных между брокерами кластер устойчив к сбоям на уровне узлов. Это обеспечивает сохранность сообщений и гарантирует их доставку даже при выходе из строя отдельных узлов системы.Автоматизация управления
Сервис обеспечивает автоматизированное развертывание, настройку и обновление кластера, управление топиками и мониторинг.
Контроль доступа
Настройки доступа на уровнях платформы и каждого кластера позволяют разграничить права для разных пользователей и систем и обеспечивают соответствие политикам безопасности.Единая платформа для оперативной и исторической аналитики
В сервисе доступна как обработка данных в реальном времени, так и воспроизведение записи за выбранный период времени для повторной обработки. Это позволяет одновременно строить оперативные и аналитические системы на одной платформе. Например, на основе одного потока данных можно фиксировать аномалии в событиях, а потом проводить анализ по историческим данным.
Как работает сервис
Основа Managed Kafka — кластер. Это группа узлов (брокеров), объединенных для приема, хранения и передачи потоков данных. Брокер — узел кластера, на котором запущен экземпляр Kafka. Поступающие данные распределяются между брокерами для надежности и отказоустойчивости. Распределение данных между брокерами и управление состоянием брокеров внутри кластера обеспечивают контроллеры.
Потоки данных направляются в топики. Каждый топик состоит из одного или нескольких разделов, в которые записываются входящие сообщения.
Данные поступают в топики от производителей (producers) — приложений или сервисов-источников, например, от сайтов, мобильных приложений или систем телеметрии. Поступающими данными могут быть действия пользователей, показания датчиков и другие события.
Потребители (consumers) — приложения и сервисы-получатели — читают и обрабатывают эти данные. Например, рекомендательная система читает из топика действия пользователей на сайте, а система мониторинга читает показания датчиков телеметрии. Каждый потребитель работает независимо и в своем темпе.
В multi-node-кластере разделы топика распределяются между брокерами. Например, если в топике Telemetry 5 разделов, они распределятся между брокерами в количестве 1, 2 и 2. При включенной репликации данных в топике копии разделов хранятся на нескольких брокерах кластера. Брокер, обрабатывающий запросы на запись и чтение для конкретного раздела, называется его лидером. В случае сбоя брокера-лидера его разделы автоматически перераспределяются между остальными брокерами кластера.
Для доступа к данным в кластере создаются пользователи кластера с ролями CLUSTER_ADMIN, PRODUCER или CONSUMER.
Доступ к кластерам и топикам регулируется сервисными ролями.
Активация
Чтобы начать пользоваться сервисом Managed Kafka, нажмите кнопку Оставить заявку на странице сервиса. Доступ к сервису появится, как только заявка будет обработана.
Тарификация
На стадии Preview сервис не тарифицируется.