Что такое объектное хранилище S3

S3-хранилище — это облачное объектное хранилище, в котором данные сохраняются в виде объектов внутри специальных контейнеров — бакетов. Доступ к данным осуществляется через S3-совместимый API, поэтому такое хранилище легко интегрируется с приложениями, библиотеками и  инструментами, поддерживающими стандарт Amazon S3.

Облачное объектное хранилище S3 подходит для работы с большими объёмами неструктурированных данных: файлов, резервных копий, логов, мультимедиа контента и аналитических датасетов.

В MWS Cloud Platform эту задачу выполняет Object Storage. В  нём данные автоматически шифруются, а управление доступом настраивается через IAM-роли и политики бакетов (bucket policy), что позволяет гибко контролировать безопасность и доступ к объектам.

Объектное хранилище S3 (Simple Storage Service) — это тип облачного хранилища данных, в котором информация сохраняется в виде отдельных объектов. Каждый объект помещается в специальный контейнер — бакет (bucket) — и содержит не только сам файл, но и метаданные, а также уникальный идентификатор.

Объект адресуется по ключу (key) — строке, которая выступает уникальным путём к объекту внутри бакета. Именно по этому ключу система находит и возвращает нужные данные.

Работа с S3-хранилищем строится вокруг стандартного набора операций API. Например, можно создать бакет, загрузить файл, получить объект или вывести список объектов в контейнере. Благодаря S3-совместимому API объектное хранилище легко интегрируется со сторонними инструментами, SDK и библиотеками.

В Object Storage MWS Cloud Platform доступ к хранилищу можно получить через веб-консоль, командную строку или API. Такой сервис часто используют для хранения и  раздачи контента, работы бэкендов приложений, хранения резервных копий, логов и датасетов для аналитики и Big Data.

В облачных инфраструктурах используют несколько моделей хранения данных. Чаще всего это файловые, блочные и объектные хранилища. Они отличаются тем, как именно система хранит данные и как приложения получают к ним доступ.

Файловая система

Файловое хранилище организует данные в привычную иерархию «папки → файлы». Доступ к таким хранилищам обычно POSIX-совместимый, поэтому приложения работают с ними так же, как с обычной файловой системой на  сервере.

Этот тип хранилища удобен для совместной работы с файлами, общего сетевого диска, рабочих каталогов и приложений, которым важно сохранять классическую структуру файлов.

Блочное хранилище

Блочное хранилище разбивает данные на блоки и предоставляет серверу виртуальный диск — том (volume). После подключения его можно отформатировать и смонтировать как обычный диск операционной системы.

Такой тип storage чаще используют там, где важны низкие задержки и  высокая производительность операций ввода-вывода: например, для виртуальных машин, транзакционных баз данных или систем обработки очередей.

Объектное хранилище

Объектное хранилище (object storage) работает по другой модели. Данные сохраняются как независимые объекты, каждый из которых содержит сам файл, метаданные и уникальный ключ.

Доступ к объектам происходит через API (чаще всего по HTTP). В отличие от файловых систем здесь нет операции «открыть файл и дописать часть»  — объект обычно читается или записывается целиком. Благодаря такой архитектуре объектное хранилище хорошо подходит для хранения больших файлов, архивов, медиаконтента и потоковой раздачи данных.

Сравнение типов хранилищ

S3-совместимое объектное хранилище организует данные по простой модели: бакет → ключ → объект. Бакет выступает контейнером для данных, а каждый объект внутри него имеет уникальный ключ (key), по которому система находит нужный файл.

Во многих интерфейсах можно увидеть привычные «папки». На самом деле это не настоящие директории, а префиксы ключей. Например, путь logs/2026/03/  — это просто часть имени объекта, которая помогает логически группировать данные внутри бакета.

В Object Storage MWS Cloud Platform реализована S3-совместимая модель доступа и управления данными. Основные технические параметры сервиса:

• Доступ к данным
  Бакеты по умолчанию приватные. Управление доступом осуществляется через IAM-роли и политики бакета (bucket policy). Наиболее часто используются роли:

  • storage.bucket.viewer

  • storage.bucket.editor

  • storage.bucket.admin

• ACL
  Классическая модель ACL, используемая в Amazon S3, считается устаревшей. В MWS управление доступом реализовано через IAM и политики бакетов.

• Presigned URL
  Можно создавать временные подписанные ссылки для загрузки или скачивания одного объекта. Максимальный срок действия ссылки — до 7 дней.

Ниже показана упрощённая схема работы S3-совместимого сервиса.

Объектное хранилище S3 выбирают в тех случаях, когда важно хранить большие объёмы данных и при этом минимизировать сложность эксплуатации инфраструктуры. Такая модель хранения хорошо масштабируется и позволяет работать с данными через стандартный API без необходимости управлять файловыми системами или дисками.

Одно из ключевых преимуществ — высокая надёжность хранения. В Object Storage MWS Cloud Platform надёжность хранения составляет 99,999999999%, а доступность сервиса — не ниже 99,95% в год. Данные автоматически шифруются, а сама платформа размещается в дата-центрах уровня Tier III. Данные хранятся с тройной репликацией (избыточное хранение) в двух дата-центрах, что повышает отказоустойчивость системы.

Ещё одно важное преимущество — совместимость с экосистемой Amazon S3. Большинство инструментов, библиотек и SDK, которые работают с Amazon S3, можно использовать и с S3-совместимым Object Storage. Обычно для этого достаточно изменить endpoint сервиса, регион и ключи доступа.

Кроме того, объектное хранилище удобно для масштабируемого хранения данных. При росте объёма данных не требуется расширять файловые системы или управлять дисковыми массивами — сервис автоматически масштабируется и позволяет хранить практически неограниченные объёмы данных.

Облачное объектное хранилище S3 используют в разных сценариях — от  резервного копирования до хранения данных для аналитики. Такая модель хранения хорошо подходит для больших объёмов неструктурированных данных и сервисов, которым нужен простой доступ к файлам через API.

Вот несколько типичных сценариев использования object storage.

Резервное копирование и архивирование

Объектное хранилище часто используют для хранения резервных копий (backup) и архивов. Оно позволяет хранить большие объёмы данных, настраивать длительный срок хранения и безопасно восстанавливать данные при необходимости. Также в таком хранилище удобно сохранять системные логи и метрики.

Хранение и раздача мультимедиа

S3-хранилище подходит для хранения изображений, аудио- и видеофайлов, а  также статических ассетов сайтов. Приложения могут напрямую получать доступ к объектам через API или временные ссылки, что удобно для раздачи контента пользователям.

Data lake для аналитики и машинного обучения

Объектные storages часто используют как основу для data lake. В них можно хранить большие массивы данных, которые затем используются аналитическими системами, инструментами обработки данных и платформами машинного обучения.

Хранилище файлов для приложений

Многие веб- и мобильные приложения используют объектное хранилище как backend для пользовательских файлов: документов, изображений, вложений или медиа. Такой подход позволяет масштабировать хранение данных независимо от серверов приложения.

Безопасный обмен файлами

С помощью временных подписанных ссылок (presigned URL) можно предоставлять доступ к отдельным объектам без открытия публичного доступа к бакету. Это удобно для передачи файлов между сервисами или пользователями.

Во многих S3-совместимых объектных хранилищах используются разные классы хранения. Например, стандартный класс, класс редкого доступа или архивный. Они отличаются стоимостью хранения и стоимостью операций с  данными. Такой подход позволяет оптимизировать расходы: часто используемые данные хранятся в стандартном классе, а архивные — в  более дешёвых классах с увеличенным временем доступа.

В Object Storage MWS Cloud Platform на момент публикации документации используется один класс хранения — стандартный. Это универсальный вариант для большинства сценариев: хранения резервных копий, мультимедиа контента, логов и других типов данных.

Тарификация сервиса построена по модели pay-as-you-go — вы платите только за фактически используемые ресурсы. Стоимость складывается из  нескольких компонентов:

• объёма хранения данных (GB storage);

• исходящего сетевого трафика (egress);

• операций с данными через API (API requests).

Актуальные условия и тарифы можно посмотреть в документации.

Начать работу с S3-совместимым объектным хранилищем можно за несколько шагов.

Создайте бакет

Сначала создайте бакет в веб-консоли. Имя бакета должно быть уникальным в рамках всего Object Storage и соответствовать правилам именования:

• только строчные буквы, цифры и дефисы;

• длина имени — от 3 до 63 символов;

• имя не должно выглядеть как IP-адрес.

Подробная инструкция

Настройте доступ

Чтобы приложения могли работать с хранилищем, создайте сервисный аккаунт и назначьте ему роль доступа. Чаще всего используются:

• storage.bucket.viewer — доступ только на чтение;

• storage.bucket.editor — доступ на запись;

• storage.bucket.admin — полный доступ.

После этого создайте для аккаунта HMAC-ключ (Access key / Secret key), который будет использоваться для доступа к S3 API.

Инструкция

Настройте AWS CLI

Для работы с объектным хранилищем можно использовать стандартные инструменты Amazon S3, например AWS CLI. Достаточно указать ключи доступа, регион и endpoint сервиса.

Пример настройки:

aws configure
# region: ru-central1
aws configure set endpoint_url https://storage.mwsapis.ru
        

После настройки можно создавать бакеты, загружать файлы и получать список объектов:

aws s3 mb s3://my-bucket
aws s3 cp ./file.zip s3://my-bucket/backups/file.zip
aws s3 ls s3://my-bucket/backups/
        

Используйте multipart upload для больших файлов

Для загрузки крупных объектов применяется multipart upload. В MWS Object Storage он обязателен для файлов больше 5 ГБ.

На практике его часто используют уже для файлов размером от 100 МБ, чтобы снизить риск ошибок при передаче данных по сети. Размер частей обычно выбирают в диапазоне 64–256 МБ, чтобы не превысить лимит в 10 000 частей.

Настройте безопасный доступ к файлам

Если нужно временно предоставить доступ к объекту, можно использовать presigned URL — подписанную ссылку для загрузки или скачивания файла. Такой доступ работает ограниченное время (до 7 дней) и не требует открытия публичного доступа к бакету.

Подробнее

При работе с облачным хранилищем важно учитывать требования законодательства и правильно настраивать доступ к данным. В облачных сервисах действует принцип разделения ответственности (shared responsibility): провайдер отвечает за безопасность инфраструктуры, а  пользователь — за то, какие данные он хранит и как настроены права доступа, ключи и политики безопасности.

Если вы работаете с персональными данными, важно учитывать требования Федерального закона № 152-ФЗ «О персональных данных». Согласно этому закону, при сборе персональных данных граждан РФ операции записи, накопления и хранения должны выполняться с использованием баз данных, расположенных на территории России. Поэтому при проектировании архитектуры хранения важно выбирать соответствующий регион размещения данных.

Объектное хранилище MWS Cloud Platform прошло процедуры оценки соответствия требованиям информационной безопасности. В частности, сервис Object Storage прошёл аттестацию по уровню защищённости УЗ-1.