Вернуться наверх

Подключение к кластеру ​

Подключиться к кластеру можно двумя способами:

  • По внутренней сети. Используйте этот способ, если подключаетесь к кластеру с ВМ в облаке MWS.
  • По внешней сети. Используйте этот способ, если подключаетесь к кластеру из-за пределов облака MWS.

Подключение по внутренней сети ​

Подключение по внешней сети ​

Проверка подключения ​

  1. Получите список доступных топиков кластера:

    bash
    "$KAFKA_HOME/bin/kafka-topics.sh" \      # Запуск утилиты для работы с топиками Kafka
  --bootstrap-server "$BOOTSTRAP" \      # Адрес брокера
  --command-config "$CONF" \             # Файл конфигурации Kafka
  --list                                 # Флаг для вывода списка всех доступных топиков

    Если подключение к кластеру успешно, в ответе будет выведен список доступных топиков кластера. Если вы еще не создали ни одного топика, будет выведен только системный топик Kafka __consumer__offsets.

  2. Получите адреса всех брокеров в кластере:

    bash
    "$KAFKA_HOME/bin/kafka-broker-api-versions.sh" \     # Запуск утилиты для получения информации о брокерах и поддерживаемых версиях API
  --bootstrap-server "$BOOTSTRAP" \                  # Адрес брокера
  --command-config "$CONF"                           # Файл конфигурации Kafka

    В ответе будет получен список брокеров с идентификатором и адресом для каждого брокера.

  3. Получите информацию о брокерах-лидерах в разделах топика:

    bash
    "$KAFKA_HOME/bin/kafka-topics.sh" \     # Запуск утилиты для работы с топиками Kafka
  --bootstrap-server "$BOOTSTRAP" \     # Адрес брокера
  --describe \                          # Флаг для получения описания топика
  --topic "$TOPIC" \                    # Имя топика
  --command-config "$CONF"              # Файл конфигурации Kafka

    В ответе будет получено описание топика. Для каждого раздела топика будет указан идентификатор брокера-лидера. Сопоставьте идентификаторы брокеров с их адресами, полученными в предыдущем шаге.

  4. Запустите консольного производителя для записи и отправки сообщений:

    bash
    "$KAFKA_HOME/bin/kafka-console-producer.sh" \     # Запуск консольного производителя для отправки сообщений в топик
  --bootstrap-server "$BOOTSTRAP" \               # Адрес брокера-лидера раздела
  --producer.config "$CONF" \                     # Файл конфигурации Kafka
  --topic "$TOPIC"                                # Целевой топик

    После запуска введите сообщение для записи и отправки потребителю.

  5. Запустите консольного потребителя для чтения сообщений:

    bash
    "$KAFKA_HOME/bin/kafka-console-consumer.sh" \     # Запуск консольного потребителя для чтения сообщений из топика
  --bootstrap-server "$BOOTSTRAP" \               # Адрес брокера-лидера раздела
  --consumer.config "$CONF" \                     # Файл конфигурации Kafka
  --topic "$TOPIC" \                              # Целевой топик
  --group <группа потребителей> \                 # Идентификатор группы потребителей
  --from-beginning                                # Чтение всех сообщений с начала топика

    В ответе будут выведены сообщения, отправленные в топик ранее.