Настройка PgBouncer для Managed PostgreSQL
Последнее обновление
PgBouncer — легковесный пулер соединений для PostgreSQL. Он устанавливается между клиентским приложением и базой данных и позволяет большому количеству клиентских соединений использовать ограниченное количество физических соединений с кластером Managed PostgreSQL.
Приложение подключается к PgBouncer через порт 6432. PgBouncer перенаправляет запросы в кластер Managed PostgreSQL на порт 5432.
В этом руководстве используются следующие термины:
- ВМ PgBouncer — виртуальная машина, на которой развернут PgBouncer;
- ВМ приложения — виртуальная машина, с которой приложение подключается к базе данных.
Чтобы развернуть PgBouncer в Managed PostgreSQL:
- (опционально) Настройте размеры пула.
Перед началом работы
- Создайте кластер Managed PostgreSQL подходящей вам конфигурации.
- Создайте базу данных, к которой будет подключаться приложение, и пользователя для доступа к ней.
- Создайте виртуальную машину, на которой будет развернут PgBouncer. ВМ должна находиться в той же сети, что и кластер. Для базовой установки достаточно ВМ с 2 vCPU, 4 ГБ RAM и диском на 30 ГБ. При высокой нагрузке для устойчивой работы PgBouncer основное значение имеют число соединений, сетевой трафик, использование TLS и ограничения по CPU. Дисковое пространство ВМ практически не используется.
- (опционально) Создайте виртуальную машину для приложения, если приложение развернуто не на ВМ PgBouncer. ВМ приложения должна находиться в той же сети, что и ВМ PgBouncer.
Для прохождения руководства вам понадобятся следующие данные:
- внутренний IP-адрес primary-эндпоинта кластера (отображается в списке кластеров);
- внутренний IP-адрес ВМ PgBouncer (отображается в информации о ВМ);
- IP-адрес или подсеть ВМ приложения;
- имя базы данных;
- имя и пароль пользователя.
1. Настройте сеть
Для доступа к PgBouncer и базе данных добавьте правила файрвола для входящего трафика в сети, к которой подключены кластер и ВМ:
Для подключения приложений к PgBouncer добавьте правило с параметрами:
- источник трафика — IP-адрес или подсеть ВМ приложения;
- назначение трафика — внутренний IP-адрес ВМ PgBouncer;
- протокол и порт —
TCP:6432.
Для подключения PgBouncer к кластеру добавьте правило с параметрами:
- источник трафика — внутренний IP-адрес ВМ PgBouncer;
- назначение трафика — внутренний IP-адрес primary-эндпоинта кластера;
- протокол и порт —
TCP:5432.
2. Проверьте подключение к Managed PostgreSQL
Перед установкой PgBouncer убедитесь, что ВМ PgBouncer имеет доступ к кластеру Managed PostgreSQL.
Подключитесь к ВМ PgBouncer по SSH. Все команды руководства выполняйте на этой ВМ.
Установите утилиты для проверки подключения:
Проверьте доступность TCP-порта primary-эндпоинта кластера:
Ожидаемый результат:
Проверьте прямое подключение к базе данных:
После подключения выполните запрос:
В случае успешного подключения запрос вернет строку с информацией о текущем подключении.
3. Установите PgBouncer
Установите пакеты для подключения репозитория PGDG:
Подключите репозиторий PGDG:
Установите PgBouncer:
Проверьте успешность установки:
В случае успешной установки будет выведена актуальная версия PgBouncer.
4. Создайте системного пользователя
Остановите автоматически созданный сервис PgBouncer, если он запущен:
Создайте группу для PgBouncer:
Создайте системного пользователя для PgBouncer:
Создайте каталог конфигурации:
5. Настройте аутентификацию
PgBouncer использует собственный список пользователей для аутентификации входящих подключений. Подготовьте этот список:
Создайте файл
/etc/pgbouncer/userlist.txt:Добавьте в файл пользователя базы данных и администратора PgBouncer:
Пример:
Пользователь
pgbouncer_adminиспользуется только для административной консоли PgBouncer. Создавать этого пользователя в БД Managed PostgreSQL не нужно.Установите права на файл:
Проверьте, что пользователь
pgbouncerможет прочитать файл:Ожидаемый результат:
OK.
6. Настройте PgBouncer
Создайте файл конфигурации
/etc/pgbouncer/pgbouncer.ini:Добавьте базовую конфигурацию:
Здесь:
pool_sizeиdefault_pool_size— максимальное число соединений с кластером Managed PostgreSQL для каждой парыdatabase, user;max_db_connections— суммарное число соединений с кластером Managed PostgreSQL для одной БД, общее для всех пользователей;max_client_conn— суммарное число клиентских соединений, которые принимает PgBouncer.
Значения параметров приведены для примера с учетом небольшой тестовой нагрузки. Позже размер пула будет подобран под реальные задачи.
Установите права на файл:
7. Выберите режим пулинга
Режим пулинга задается параметром pool_mode в секции [pgbouncer] файла /etc/pgbouncer/pgbouncer.ini.
Выберите подходящий режим до запуска PgBouncer:
transaction— чтобы соединение с кластером Managed PostgreSQL возвращалось в пул после завершения транзакции (установлен в параметреpool_modeпо умолчанию);session— чтобы приложение имело полную семантику сессии.
Для типовых stateless OLTP-приложений используйте режим transaction. В этом режиме одно физическое соединение обслуживает несколько клиентских сессий.
Перед эксплуатацией проверьте совместимость приложения с выбранным режимом пулинга и проведите нагрузочное тестирование. С режимом transaction несовместимы сценарии, в которых приложение зависит от состояния сессии:
- настройки на уровне сеанса (session-level);
- рекомендательные блокировки уровня сеанса (session advisory locks);
LISTENи другая логика, требующая сохранения одного backend-соединения в течение всей клиентской сессии.
Если приложению нужна полная семантика сессии, задайте режим session:
8. Настройте systemd
Определите путь к бинарному файлу PgBouncer:
Ожидаемый результат:
/usr/sbin/pgbouncer.Создайте файл
service unit:Добавьте настройки
service unitв файл/etc/systemd/system/pgbouncer.service:
9. Запустите PgBouncer
Примените изменения в
systemdи запустите сервис:Проверьте статус сервиса:
Проверьте, что PgBouncer слушает порт
6432:Просмотрите журнал сервиса:
Если сервис запустился успешно, в выводе команды будет строка вида
LOG process up: PgBouncer 1.26.0 ....
10. Проверьте подключение к PgBouncer
Подключитесь к PgBouncer локально:
После подключения выполните запрос:
Успешное выполнение запроса подтверждает, что PgBouncer принимает подключения и перенаправляет их в кластер Managed PostgreSQL.
11. Проверьте административную консоль
Подключитесь к административной консоли PgBouncer:
Выполните команды:
PgBouncer создает отдельный пул для каждой пары
database, user. В выводе командыSHOW POOLSпараметрcl_waitingпоказывает клиентов, которые отправили запрос, но ожидают свободное соединение с сервером. Рост параметраmaxwaitозначает увеличение времени ожидания.
12. Проверьте подключение с ВМ приложения
Проверьте доступность порта PgBouncer:
Подключитесь к PgBouncer:
После подключения выполните запрос:
Успешное выполнение запроса подтверждает, что PgBouncer принимает подключения и перенаправляет их в кластер Managed PostgreSQL.
13. (опционально) Настройте размеры пула
Размер пула pool_size для PgBouncer не должен автоматически приравниваться к значению max_connections кластера Managed PostgreSQL.
Отнимите от значения параметра max_connections следующие соединения:
- административные соединения;
- соединения сервиса мониторинга;
- миграции и служебные процессы;
- прямые подключения других приложений;
- операционный резерв.
Например, если значение max_connections равно 200, выделите:
- 20 соединений на административные задачи и мониторинг;
- 20 соединений на миграции и служебные процессы;
- 20 на операционный резерв.
В этом случае значение параметра pool_size можно установить равным 140.
Отслеживайте показатели БД с помощью запросов:
| Запрос | Показатели |
|---|---|
SHOW POOLS | cl_waiting, sv_active, sv_idle, maxwait |
SHOW STATS | transaction/query rate, wait time |
Следите за нагрузкой на сервис Managed PostgreSQL. Отслеживайте нагрузку на CPU, I/O, locks, query latency и число активных соединений.
Если cl_waiting и maxwait растут, а у кластера Managed PostgreSQL есть свободные ресурсы CPU и I/O, постепенно увеличивайте размеры пула. Если очередь растет одновременно с высокой нагрузкой на кластер, сначала устраните узкое место в базе данных.
Не увеличивайте pool_size только потому, что существует очередь клиентов. Если кластер уже ограничен по CPU, I/O или locks, увеличение числа параллельных запросов может ухудшить производительность.
Удалите ресурсы
Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:
- Удалите виртуальную машину приложения, если вы создавали ее.
- Удалите кластер Managed PostgreSQL, если вы проходили руководство на тестовых данных, которые вам не нужны.