Rclone

Rclone — инструмент для синхронизации данных в Object Storage и на локальном компьютере. Он может использоваться для резервного копирования, работы со статическими сайтами, а также для переноса данных между разными облачными хранилищами. Существуют версии Rclone для Linux, Windows, MacOS.

1. Cоздайте сервисный аккаунт.
2. Назначьте сервисному аккаунту роль storage.bucket.editor или выше.
3. Создайте HMAC-ключ.
4. Скопируйте и сохраните обе части HMAC-ключа: Access key и Secret key.
5. Установите Rclonе.
6. Создайте бакет.

1. Выполните команду:

   1
   rclone config

   Откроется следующий диалог:

   1
   No remotes found, make a new one?
   2
   n) New remote
   3
   s) Set configuration password
   4
   q) Quit config

2. Выберите n — добавить новое хранилище. Далее укажите имя, под которым новое хранилище будет сохранено в настройках Rclone. После этого программа настройки предложит вам выбрать хранилище из списка.

3. Выберите пункт 32 / Any other S3 compatible provider.

4. В следующем диалоге укажите настройки для работы c Object Storage. Для параметра AWS Access Key ID укажите в качестве значения Access key из HMAC-ключа, а для параметра AWS Secret Access Key — Secret key из HMAC-ключа.

   Пример заполнения настроек

   1
   Get AWS credentials from runtime (environment variables or EC2/ECS meta data if no env vars).
   2
   Only applies if access_key_id and secret_access_key is blank.
   3
   Choose a number from below, or type in your own boolean value (true or false).
   4
   Press Enter for the default (false).
   5
    1 / Enter AWS credentials in the next step.
   6
      \ (false)
   7
    2 / Get AWS credentials from the environment (env vars or IAM).
   8
      \ (true)
   9
   env_auth> 1
   10
   
   11
   Option access_key_id.
   12
   AWS Access Key ID.
   13
   Leave blank for anonymous access or runtime credentials.
   14
   Enter a value. Press Enter to leave empty.
   15
   access_key_id> <Access key из НMAC-ключа>
   16
   
   17
   Option secret_access_key.
   18
   AWS Secret Access Key (password).
   19
   Leave blank for anonymous access or runtime credentials.
   20
   Enter a value. Press Enter to leave empty.
   21
   secret_access_key> <Secret key из HMAC-ключа>
   22
   
   23
   Option region.
   24
   Region to connect to.
   25
   Leave blank if you are using an S3 clone and you don't have a region.
   26
   Choose a number from below, or type in your own value.
   27
   Press Enter to leave empty.
   28
      / Use this if unsure.
   29
    1 | Will use v4 signatures and an empty region.
   30
      \ ()
   31
      / Use this only if v4 signatures don't work.
   32
    2 | E.g. pre Jewel/v10 CEPH.
   33
      \ (other-v2-signature)
   34
   region> ru-central1
   35
   
   36
   Option endpoint.
   37
   Endpoint for S3 API.
   38
   Required when using an S3 clone.
   39
   Enter a value. Press Enter to leave empty.
   40
   endpoint> https://storage.mwsapis.ru
   41
   
   42
   Option location_constraint.
   43
   Location constraint - must be set to match the Region.
   44
   Leave blank if not sure. Used when creating buckets only.
   45
   Enter a value. Press Enter to leave empty.
   46
   location_constraint> ru-central1

1
rclone lsd <имя хранилища>:

1
rclone ls <имя хранилища>:<имя бакета>

1
rclone copy <путь к локальному файлу> <ключ объекта в хранилище>

Если вы добавляли в локальную директорию файлы или удаляли их из нее, и вам нужно внести такие же изменения в бакете в Object Storage, выполните команду:

1
rclone sync <путь к локальной директории> <имя хранилища>:<имя бакета>

Если вы добавили новые объекты в бакет или удалили их из него, и вам нужно внести такие же изменения в локальную директорию, выполните команду:

1
rclone sync <имя хранилища>:<имя бакета> <путь к локальной директории>