Перейти к содержимому

Миграция данных в Managed PostgreSQL

Последнее обновление

Вы можете мигрировать данные из стороннего экземпляра PostgreSQL в сервис Managed PostgreSQL.

В этом руководстве рассматривается несколько типов миграции:

Сравнительные характеристики разных типов миграции приведены в таблице.

В руководстве определены следующие термины:

  • БД-источник — база данных PostgreSQL, из которой производится миграция данных;
  • БД-приемник — база данных Managed PostgreSQL, в которую производится миграция данных.

Таблица доступных типов миграций

КритерийОфлайн-миграция с помощью pg_dump и pg_restoreОфлайн-миграция с помощью pgcopydbОнлайн-миграция с помощью pgcopydb
Простой сервиса
На все время миграции
На все время миграции
Только на время переключения
Надежность инструмента
Инструмент поддерживается разработчиками СУБД
Сторонний инструмент
Сторонний инструмент
Сложность настройки
Простая: утилиты поставляются с СУБД
Простая: нужно установить только утилиту pgcopydb
Средняя: требуется настройка сетевой связности и уровня репликации на источнике
Привилегии пользователя на источнике
Минимальные: чтение таблиц, последовательностей, использование схем
Минимальные: чтение таблиц, последовательностей, использование схем
Средние: роль REPLICATION, чтение таблиц, последовательностей, использование схем
Привилегии на приемнике
Минимальные: подойдет существующий пользователь с ролью OWNER
Минимальные: подойдет существующий пользователь с ролью OWNER
Повышенные: требуется пользователь с ролью OWNER и дополнительной ролью MIGRATOR
Скорость миграции
Средняя: требуется последовательно выгрузить дамп, а потом восстановить из него БД
Быстрая: снятие дампа и его восстановление происходит параллельно. Индексы по возможности создаются параллельно
Быстрая: простой сервисов только на время переключения
Дополнительное хранилище
Требуется дополнительное место для хранения промежуточного файла дампа
Минимальное: данные сразу же записываются в БД-приемник
Требуется дополнительное место для хранения CDC-файлов

Перед началом работы

  1. Выберите подходящий вам тип миграции.

  2. Создайте кластер-приемник Managed PostgreSQL подходящей вам конфигурации.

  3. Создайте БД-приемник, в которую будут мигрировать данные. При создании БД:

    • Укажите такие же расширения, как и в БД-источнике.
    • Для владельца БД добавьте роль Migrator с подходящим вам сроком действия роли. Чтобы соблюсти принцип минимальных привилегий, вы можете вручную отвязать роль от пользователя сразу же после завершения миграции.
  4. Для доступа к кластеру вам понадобится устройство, поддерживающее работу с командной строкой. Используйте личный компьютер или создайте промежуточную ВМ в той же сети, где расположен кластер Managed PostgreSQL.

1. Настройте подключение к базам данных

  1. В БД-источнике создайте пользователя с минимальными правами, необходимыми для снятия дампа:

    В этом примере пользователю выданы права на все объекты. Вы можете выдать точечные права только на те объекты, которые должны быть перенесены в БД-приемник.

  2. Для сети, к которой подключен кластер, добавьте правило файрвола для входящего трафика:

    • источник трафика — IP-адрес промежуточного устройства (ВМ или личного компьютера);
    • назначение трафика — внешний IP-адрес кластера-приемника;
    • протокол и порт — TCP:5432.
  3. Проверьте подключение с помощью psql к БД-источнику и БД-приемнику.

  4. Обеспечьте сетевую связность между источником, приемником и промежуточным устройством (ВМ или личным компьютером):

    • Откройте сетевой доступ к серверу, на котором расположена БД кластера-источника. Стандартный порт для подключения к БД PostgreSQL — 5432.

    • Настройте pg_hba.conf, например:

    • При необходимости настройте SSL-шифрование для безопасной передачи данных.

2. Мигрируйте данные

Мигрируйте данные в сервис Managed PostgreSQL одним из подходящих вам способов.

2.1. Офлайн с помощью pg_dump и pg_restore

Во время офлайн-миграции БД-источник будет недоступна на запись.

  1. Остановите рабочую нагрузку на БД-источнике.

  2. Переведите БД-источник в состояние readOnly:

  3. Снимите дамп БД-источника:

    Для успешного выполнения миграции в этой команде из дампа исключаются все расширения.

  4. Скопируйте файл offline_pg_dump.dump на устройство, с которого вы будете подключаться к БД-приемнику.

  5. Восстановите дамп в БД-приемник:

  6. Выполните команду ANALYZE; на БД-приемнике для сбора статистики.

  7. Переключите рабочую нагрузку на БД-приемник.

    Особенности миграции
    СущностьОсобенности миграции
    extension
    Добавляются вручную
    materilazied view
    Переносятся, заполняются после создания с помощью команды REFRESH MATERIALIZED VIEW
    trigger
    Переносятся после данных, не срабатывают во время миграции
    user, role
    Создаются при развертывании кластера и БД-приемника
    index
    Переносятся корректно после схем и данных. Теряют флаг CONCURRENTLY за ненадобностью
    temporary table
    Не переносятся
    unlogged table
    Переносятся. Могут быть исключены при снятии дампа. При миграции из старых версий секционированные таблицы теряют признак unlogged
    pg_statistic
    Не переносятся

2.2. Офлайн с помощью pgcopydb

Во время офлайн-миграции БД-источник будет недоступна на запись.

  1. Остановите рабочую нагрузку на БД-источнике.

  2. Переведите БД-источник в состояние readOnly:

  3. На устройстве, с которого будет запущен процесс миграции, установите следующие переменные окружения:

    Пример переменных окружения
  4. Выполните команду клонирования БД на промежуточном устройстве:

    Как установить оптимальные настройки параллельного копирования?

    Количество потоков параллельного копирования таблиц и индексов вы можете задать с помощью параметров --table-jobs и --index-jobs.

    Рекомендуется выбирать значения этих настроек исходя из минимального количества ядер CPU на источнике, приемнике и промежуточном устройстве. Например, если на промежуточном устройстве всего 4 ядра CPU, тогда как на источнике и приемнике — 8, то рекомендуется установить значение настроек равным 4.

    Также стоит учитывать, что кластеры источника и приемника во время миграции могут обслуживать и другие БД. Слишком высокое количество потоков миграции может понизить общую производительность кластеров.

  5. Переключите рабочую нагрузку на БД-приемник.

    Особенности миграции
    СущностьОсобенности миграции
    extension
    Добавляются вручную
    materilazied view
    Переносятся, заполняются после создания с помощью команды REFRESH MATERIALIZED VIEW
    trigger
    Переносятся после данных, не срабатывают во время миграции
    user, role
    Создаются при развертывании кластера и БД-приемника
    index
    Переносятся корректно после схем и данных. Теряют флаг CONCURRENTLY за ненадобностью
    temporary table
    Не переносятся
    unlogged table
    Переносятся. При миграции из старых версий секционированные таблицы теряют признак unlogged
    pg_statistic
    Не переносятся

2.3. Онлайн с помощью pgcopydb

Во время онлайн миграции БД-источник доступна на чтение и запись на протяжении всего процесса миграции. Простой сервисов будет минимальным — только во время переключения.

  1. Создайте пользователя с нужными для миграции правами на БД-источнике:

  2. Внесите изменения в настройки postgresql.conf на источнике:

  3. Чтобы настройки postgresql.conf вступили в силу, перезапустите инстанс PostgreSQL на источнике.

  4. На устройстве, с которого будет запущен процесс миграции, установите следующие переменные окружения:

    Пример переменных окружения
  5. Запустите процесс репликации БД:

  6. В момент переключения на БД-приемник:

    1. Остановите рабочую нагрузку.

    2. Остановите процесс репликации:

    3. Если процесс репликации на завершается сразу же, выполните команду на БД-источнике:

    4. Переключите рабочую нагрузку на БД-приемник.

    5. Удалите временные ресурсы:

    Особенности миграции
    СущностьОсобенности миграции
    extension
    Добавляются вручную
    materilazied view
    Определения переносятся в момент снятия снапшота, заполняются после создания с помощью команды REFRESH MATERIALIZED VIEW
    trigger
    Определения переносятся после данных, не срабатывают во время миграции
    user, role
    Создаются при развертывании кластера и БД-приемника
    temporary table
    Не переносятся
    unlogged table
    Определения и данные переносятся в момент снятия снапшота. Новые записи не переносятся в процессе репликации данных. При миграции из старых версий секционированные таблицы теряют признак unlogged
    Таблица без primary key
    Определения переносятся в момент снятия снапшота. Для переноса данных в процессе репликации требуется REPLICA IDENTITY FULL или создание primary key
    pg_statistic
    Не переносятся

Удалите платные ресурсы

Ресурсы, созданные в руководстве, тарифицируются. Если вы больше не планируете использовать их:

  1. Удалите кластер Managed PostgreSQL, если вы проходили руководство на тестовых данных, которые вам не нужны.

    Внимание

    Не удаляйте кластер Managed PostgreSQL, если вы мигрировали БД, содержащие реальные данные. Это может привести к потере данных.