Миграция данных в Managed PostgreSQL

Вы можете мигрировать данные из стороннего экземпляра PostgreSQL в сервис Managed PostgreSQL.

В этом руководстве рассматривается несколько типов миграции:

• Офлайн-миграция с помощью инструментов pg_dump и pg_restore.
• Офлайн-миграция с помощью инструмента pgcopydb.
• Онлайн-миграция с помощью инструмента pgcopydb.

Сравнительные характеристики разных типов миграции приведены в таблице.

В руководстве определены следующие термины:

• БД-источник — база данных PostgreSQL, из которой производится миграция данных;
• БД-приемник — база данных Managed PostgreSQL, в которую производится миграция данных.

1. Выберите подходящий вам тип миграции.

2. Создайте кластер-приемник Managed PostgreSQL подходящей вам конфигурации.

3. Создайте БД-приемник, в которую будут мигрировать данные. При создании БД:

   • Укажите такие же расширения, как и в БД-источнике.
   • Для владельца БД добавьте роль Migrator с подходящим вам сроком действия роли. Чтобы соблюсти принцип минимальных привилегий, вы можете вручную отвязать роль от пользователя сразу же после завершения миграции.

4. Для доступа к кластеру вам понадобится устройство, поддерживающее работу с командной строкой. Используйте личный компьютер или создайте промежуточную ВМ в той же сети, где расположен кластер Managed PostgreSQL.

1. В БД-источнике создайте пользователя с минимальными правами, необходимыми для снятия дампа:

   1
   CREATE USER dumper WITH PASSWORD '<пароль пользователя>';
   2
   GRANT CONNECT ON DATABASE source_db TO dumper;
   3
   GRANT pg_read_all_data TO dumper;

   В этом примере пользователю выданы права на все объекты. Вы можете выдать точечные права только на те объекты, которые должны быть перенесены в БД-приемник.

2. Для сети, к которой подключен кластер, добавьте правило файрвола для входящего трафика:

   • источник трафика — IP-адрес промежуточного устройства (ВМ или личного компьютера);
   • назначение трафика — внешний IP-адрес кластера-приемника;
   • протокол и порт — TCP:5432.

3. Проверьте подключение с помощью psql к БД-источнику и БД-приемнику.

4. Обеспечьте сетевую связность между источником, приемником и промежуточным устройством (ВМ или личным компьютером):

   • Откройте сетевой доступ к серверу, на котором расположена БД кластера-источника. Стандартный порт для подключения к БД PostgreSQL — 5432.

   • Настройте pg_hba.conf, например:

     1
     host    all    <имя пользователя для миграции в БД-источнике>    <IP-адрес промежуточного устройства>/32    scram-sha-256

   • При необходимости настройте SSL-шифрование для безопасной передачи данных.

Мигрируйте данные в сервис Managed PostgreSQL одним из подходящих вам способов.

Во время офлайн-миграции БД-источник будет недоступна на запись.

1. Остановите рабочую нагрузку на БД-источнике.

2. Переведите БД-источник в состояние readOnly:

   1
   ALTER DATABASE <имя БД-источника> SET default_transaction_read_only = true;

3. Снимите дамп БД-источника:

   1
   pg_dump --exclude-extension='*' --no-owner --no-privileges --no-publications --no-subscriptions -h source_host -p source_port -U dumper -d source_db -Fc -f offline_pg_dump.dump

   Для успешного выполнения миграции в этой команде из дампа исключаются все расширения.

4. Скопируйте файл offline_pg_dump.dump на устройство, с которого вы будете подключаться к БД-приемнику.

5. Восстановите дамп в БД-приемник:

   1
   pg_restore -U <имя пользователя-владельца БД-приемника> -d <имя БД-приемника> --no-owner -h dest_host -p dest_port --no-privileges --no-publications --no-subscriptions --clean --if-exists offline_pg_dump.dump

6. Выполните команду ANALYZE; на БД-приемнике для сбора статистики.

7. Переключите рабочую нагрузку на БД-приемник.

   Особенности миграции

   Сущность	Особенности миграции
   extension	Добавляются вручную
   materilazied view	Переносятся, заполняются после создания с помощью команды REFRESH MATERIALIZED VIEW
   trigger	Переносятся после данных, не срабатывают во время миграции
   user, role	Создаются при развертывании кластера и БД-приемника
   index	Переносятся корректно после схем и данных. Теряют флаг CONCURRENTLY за ненадобностью
   temporary table	Не переносятся
   unlogged table	Переносятся. Могут быть исключены при снятии дампа. При миграции из старых версий секционированные таблицы теряют признак unlogged
   pg_statistic	Не переносятся

Во время офлайн-миграции БД-источник будет недоступна на запись.

1. Остановите рабочую нагрузку на БД-источнике.

2. Переведите БД-источник в состояние readOnly:

   1
   ALTER DATABASE <имя БД-источника> SET default_transaction_read_only = true;

3. На устройстве, с которого будет запущен процесс миграции, установите следующие переменные окружения:

   1
   export PGCOPYDB_SOURCE_PGURI=postgres://<имя пользователя в БД-источнике>:<пароль пользователя в БД-источнике>@<IP-адрес сервера-источника>:<порт для подключения к БД-источнику>/<имя БД-источника>

   1
   export PGCOPYDB_TARGET_PGURI=postgres://<имя пользователя-владельца в БД-приемнике>:<пароль пользователя в БД-приемнике>@<IP-адрес сервера-приемника>:<порт для подключения к БД-приемнику>/<имя БД-приемника>

   Пример переменных окружения

   1
   export PGCOPYDB_SOURCE_PGURI=postgres://source-user:source-password@62.113.75.203:5432/source-db

   1
   export PGCOPYDB_TARGET_PGURI=postgres://dest-owner-user:dest-pass@171.22.75.39:5432/dest-db

4. Выполните команду клонирования БД на промежуточном устройстве:

   1
   pgcopydb clone --no-owner --skip-extensions --skip-db-properties --no-role-passwords --drop-if-exists --table-jobs 4 --index-jobs 4

   Как установить оптимальные настройки параллельного копирования?

   Количество потоков параллельного копирования таблиц и индексов вы можете задать с помощью параметров --table-jobs и --index-jobs.

   Рекомендуется выбирать значения этих настроек исходя из минимального количества ядер CPU на источнике, приемнике и промежуточном устройстве. Например, если на промежуточном устройстве всего 4 ядра CPU, тогда как на источнике и приемнике — 8, то рекомендуется установить значение настроек равным 4.

   Также стоит учитывать, что кластеры источника и приемника во время миграции могут обслуживать и другие БД. Слишком высокое количество потоков миграции может понизить общую производительность кластеров.

5. Переключите рабочую нагрузку на БД-приемник.

   Особенности миграции

   Сущность	Особенности миграции
   extension	Добавляются вручную
   materilazied view	Переносятся, заполняются после создания с помощью команды REFRESH MATERIALIZED VIEW
   trigger	Переносятся после данных, не срабатывают во время миграции
   user, role	Создаются при развертывании кластера и БД-приемника
   index	Переносятся корректно после схем и данных. Теряют флаг CONCURRENTLY за ненадобностью
   temporary table	Не переносятся
   unlogged table	Переносятся. При миграции из старых версий секционированные таблицы теряют признак unlogged
   pg_statistic	Не переносятся

Во время онлайн миграции БД-источник доступна на чтение и запись на протяжении всего процесса миграции. Простой сервисов будет минимальным — только во время переключения.

1. Создайте пользователя с нужными для миграции правами на БД-источнике:

   1
   CREATE USER pgcopydb WITH REPLICATION LOGIN PASSWORD 'password';
   2
   GRANT CONNECT ON DATABASE demo TO pgcopydb;
   3
   GRANT pg_read_all_data TO pgcopydb;

2. Внесите изменения в настройки postgresql.conf на источнике:

   1
   wal_level = logical

3. Чтобы настройки postgresql.conf вступили в силу, перезапустите инстанс PostgreSQL на источнике.

4. На устройстве, с которого будет запущен процесс миграции, установите следующие переменные окружения:

   1
   export PGCOPYDB_SOURCE_PGURI=postgres://<имя пользователя в БД-источнике>:<пароль пользователя в БД-источнике>@<IP-адрес сервера-источника>:<порт для подключения к БД-источнику>/<имя БД-источника>

   1
   export PGCOPYDB_TARGET_PGURI=postgres://<имя пользователя-владельца в БД-приемнике>:<пароль пользователя в БД-приемнике>@<IP-адрес сервера-приемника>:<порт для подключения к БД-приемнику>/<имя БД-приемника>

   Пример переменных окружения

   1
   export PGCOPYDB_SOURCE_PGURI=postgres://source-user:source-password@62.113.75.203:5432/source-db

   1
   export PGCOPYDB_TARGET_PGURI=postgres://dest-owner-user:dest-pass@171.22.75.39:5432/dest-db

5. Запустите процесс репликации БД:

   1
   pgcopydb clone --follow --no-owner --skip-extensions --skip-db-properties --no-role-passwords --drop-if-exists

6. В момент переключения на БД-приемник:

   1. Остановите рабочую нагрузку.

   2. Остановите процесс репликации:

      1
      pgcopydb stream sentinel set endpos --current

   3. Если процесс репликации на завершается сразу же, выполните команду на БД-источнике:

      1
      SELECT pg_logical_emit_message(true, 'pgcopydb', 'stop_signal');

   4. Переключите рабочую нагрузку на БД-приемник.

   5. Удалите временные ресурсы:

      1
      pgcopydb stream cleanup

   Особенности миграции

   Сущность	Особенности миграции
   extension	Добавляются вручную
   materilazied view	Определения переносятся в момент снятия снапшота, заполняются после создания с помощью команды REFRESH MATERIALIZED VIEW
   trigger	Определения переносятся после данных, не срабатывают во время миграции
   user, role	Создаются при развертывании кластера и БД-приемника
   temporary table	Не переносятся
   unlogged table	Определения и данные переносятся в момент снятия снапшота. Новые записи не переносятся в процессе репликации данных. При миграции из старых версий секционированные таблицы теряют признак unlogged
   Таблица без primary key	Определения переносятся в момент снятия снапшота. Для переноса данных в процессе репликации требуется REPLICA IDENTITY FULL или создание primary key
   pg_statistic	Не переносятся

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

1. Удалите промежуточную виртуальную машину, если вы использовали ее.

2. Удалите кластер Managed PostgreSQL, если вы проходили руководство на тестовых данных, которые вам не нужны.

   Внимание

   Не удаляйте кластер Managed PostgreSQL, если вы мигрировали БД, содержащие реальные данные. Это может привести к потере данных.