Перейти к содержимому

Настройка PgBouncer для Managed PostgreSQL

Последнее обновление

PgBouncer — легковесный пулер соединений для PostgreSQL. Он устанавливается между клиентским приложением и базой данных и позволяет большому количеству клиентских соединений использовать ограниченное количество физических соединений с кластером Managed PostgreSQL.

Приложение подключается к PgBouncer через порт 6432. PgBouncer перенаправляет запросы в кластер Managed PostgreSQL на порт 5432.

Примечание

PgBouncer не входит в состав сервиса Managed PostgreSQL. Задачи установки, настройки, обновления, мониторинга и обеспечения отказоустойчивости сервиса PgBouncer решаются пользователем.

В этом руководстве используются следующие термины:

  • ВМ PgBouncer — виртуальная машина, на которой развернут PgBouncer;
  • ВМ приложения — виртуальная машина, с которой приложение подключается к базе данных.

Чтобы развернуть PgBouncer в Managed PostgreSQL:

Перед началом работы

  1. Создайте кластер Managed PostgreSQL подходящей вам конфигурации.
  2. Создайте базу данных, к которой будет подключаться приложение, и пользователя для доступа к ней.
  3. Создайте виртуальную машину, на которой будет развернут PgBouncer. ВМ должна находиться в той же сети, что и кластер. Для базовой установки достаточно ВМ с 2 vCPU, 4 ГБ RAM и диском на 30 ГБ. При высокой нагрузке для устойчивой работы PgBouncer основное значение имеют число соединений, сетевой трафик, использование TLS и ограничения по CPU. Дисковое пространство ВМ практически не используется.
  4. (опционально) Создайте виртуальную машину для приложения, если приложение развернуто не на ВМ PgBouncer. ВМ приложения должна находиться в той же сети, что и ВМ PgBouncer.

Для прохождения руководства вам понадобятся следующие данные:

  • внутренний IP-адрес primary-эндпоинта кластера (отображается в списке кластеров);
  • внутренний IP-адрес ВМ PgBouncer (отображается в информации о ВМ);
  • IP-адрес или подсеть ВМ приложения;
  • имя базы данных;
  • имя и пароль пользователя.

1. Настройте сеть

Для доступа к PgBouncer и базе данных добавьте правила файрвола для входящего трафика в сети, к которой подключены кластер и ВМ:

  1. Для подключения приложений к PgBouncer добавьте правило с параметрами:

    • источник трафика — IP-адрес или подсеть ВМ приложения;
    • назначение трафика — внутренний IP-адрес ВМ PgBouncer;
    • протокол и порт — TCP:6432.
  2. Для подключения PgBouncer к кластеру добавьте правило с параметрами:

    • источник трафика — внутренний IP-адрес ВМ PgBouncer;
    • назначение трафика — внутренний IP-адрес primary-эндпоинта кластера;
    • протокол и порт — TCP:5432.
Важно

Открывайте порт 6432 для источника 0.0.0.0/0 только для тестовых задач.

2. Проверьте подключение к Managed PostgreSQL

Перед установкой PgBouncer убедитесь, что ВМ PgBouncer имеет доступ к кластеру Managed PostgreSQL.

  1. Подключитесь к ВМ PgBouncer по SSH. Все команды руководства выполняйте на этой ВМ.

  2. Установите утилиты для проверки подключения:

  3. Проверьте доступность TCP-порта primary-эндпоинта кластера:

    Ожидаемый результат:

  4. Проверьте прямое подключение к базе данных:

  5. После подключения выполните запрос:

    В случае успешного подключения запрос вернет строку с информацией о текущем подключении.

3. Установите PgBouncer

  1. Установите пакеты для подключения репозитория PGDG:

  2. Подключите репозиторий PGDG:

  3. Установите PgBouncer:

  4. Проверьте успешность установки:

    В случае успешной установки будет выведена актуальная версия PgBouncer.

4. Создайте системного пользователя

  1. Остановите автоматически созданный сервис PgBouncer, если он запущен:

  2. Создайте группу для PgBouncer:

  3. Создайте системного пользователя для PgBouncer:

  4. Создайте каталог конфигурации:

5. Настройте аутентификацию

PgBouncer использует собственный список пользователей для аутентификации входящих подключений. Подготовьте этот список:

  1. Создайте файл /etc/pgbouncer/userlist.txt:

  2. Добавьте в файл пользователя базы данных и администратора PgBouncer:

    Пример:

    Пользователь pgbouncer_admin используется только для административной консоли PgBouncer. Создавать этого пользователя в БД Managed PostgreSQL не нужно.

  3. Установите права на файл:

  4. Проверьте, что пользователь pgbouncer может прочитать файл:

    Ожидаемый результат: OK.

Важно

Файл userlist.txt содержит аутентификационные данные. Убедитесь, что другие пользователи ОС не имеют к нему доступа, не включайте его содержимое в логи и не храните его незашифрованную копию в системе контроля версий.

6. Настройте PgBouncer

  1. Создайте файл конфигурации /etc/pgbouncer/pgbouncer.ini:

  2. Добавьте базовую конфигурацию:

    Здесь:

    • pool_size и default_pool_size — максимальное число соединений с кластером Managed PostgreSQL для каждой пары database, user;
    • max_db_connections — суммарное число соединений с кластером Managed PostgreSQL для одной БД, общее для всех пользователей;
    • max_client_conn — суммарное число клиентских соединений, которые принимает PgBouncer.

    Значения параметров приведены для примера с учетом небольшой тестовой нагрузки. Позже размер пула будет подобран под реальные задачи.

  3. Установите права на файл:

7. Выберите режим пулинга

Режим пулинга задается параметром pool_mode в секции [pgbouncer] файла /etc/pgbouncer/pgbouncer.ini.

Выберите подходящий режим до запуска PgBouncer:

  • transaction — чтобы соединение с кластером Managed PostgreSQL возвращалось в пул после завершения транзакции (установлен в параметре pool_mode по умолчанию);
  • session — чтобы приложение имело полную семантику сессии.

Для типовых stateless OLTP-приложений используйте режим transaction. В этом режиме одно физическое соединение обслуживает несколько клиентских сессий.

Перед эксплуатацией проверьте совместимость приложения с выбранным режимом пулинга и проведите нагрузочное тестирование. С режимом transaction несовместимы сценарии, в которых приложение зависит от состояния сессии:

  • настройки на уровне сеанса (session-level);
  • рекомендательные блокировки уровня сеанса (session advisory locks);
  • LISTEN и другая логика, требующая сохранения одного backend-соединения в течение всей клиентской сессии.

Если приложению нужна полная семантика сессии, задайте режим session:

8. Настройте systemd

  1. Определите путь к бинарному файлу PgBouncer:

    Ожидаемый результат: /usr/sbin/pgbouncer.

  2. Создайте файл service unit:

  3. Добавьте настройки service unit в файл /etc/systemd/system/pgbouncer.service:

9. Запустите PgBouncer

  1. Примените изменения в systemd и запустите сервис:

  2. Проверьте статус сервиса:

  3. Проверьте, что PgBouncer слушает порт 6432:

  4. Просмотрите журнал сервиса:

    Если сервис запустился успешно, в выводе команды будет строка вида LOG process up: PgBouncer 1.26.0 ... .

10. Проверьте подключение к PgBouncer

  1. Подключитесь к PgBouncer локально:

  2. После подключения выполните запрос:

    Успешное выполнение запроса подтверждает, что PgBouncer принимает подключения и перенаправляет их в кластер Managed PostgreSQL.

11. Проверьте административную консоль

  1. Подключитесь к административной консоли PgBouncer:

  2. Выполните команды:

    PgBouncer создает отдельный пул для каждой пары database, user. В выводе команды SHOW POOLS параметр cl_waiting показывает клиентов, которые отправили запрос, но ожидают свободное соединение с сервером. Рост параметра maxwait означает увеличение времени ожидания.

12. Проверьте подключение с ВМ приложения

  1. Проверьте доступность порта PgBouncer:

  2. Подключитесь к PgBouncer:

  3. После подключения выполните запрос:

    Успешное выполнение запроса подтверждает, что PgBouncer принимает подключения и перенаправляет их в кластер Managed PostgreSQL.

13. (опционально) Настройте размеры пула

Размер пула pool_size для PgBouncer не должен автоматически приравниваться к значению max_connections кластера Managed PostgreSQL.

Отнимите от значения параметра max_connections следующие соединения:

  • административные соединения;
  • соединения сервиса мониторинга;
  • миграции и служебные процессы;
  • прямые подключения других приложений;
  • операционный резерв.

Например, если значение max_connections равно 200, выделите:

  • 20 соединений на административные задачи и мониторинг;
  • 20 соединений на миграции и служебные процессы;
  • 20 на операционный резерв.

В этом случае значение параметра pool_size можно установить равным 140.

Отслеживайте показатели БД с помощью запросов:

ЗапросПоказатели
SHOW POOLS
cl_waiting, sv_active, sv_idle, maxwait
SHOW STATS
transaction/query rate, wait time

Следите за нагрузкой на сервис Managed PostgreSQL. Отслеживайте нагрузку на CPU, I/O, locks, query latency и число активных соединений.

Если cl_waiting и maxwait растут, а у кластера Managed PostgreSQL есть свободные ресурсы CPU и I/O, постепенно увеличивайте размеры пула. Если очередь растет одновременно с высокой нагрузкой на кластер, сначала устраните узкое место в базе данных.

Не увеличивайте pool_size только потому, что существует очередь клиентов. Если кластер уже ограничен по CPU, I/O или locks, увеличение числа параллельных запросов может ухудшить производительность.

Удалите ресурсы

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

  1. Удалите кластер Managed PostgreSQL, если вы проходили руководство на тестовых данных, которые вам не нужны.