Использование папок

1
aws s3api put-object --bucket <имя бакета> --key <имя папки>/

1
# Импортируем необходимые модули
2
import argparse
3
import boto3
4

5
# Принимаем в качестве аргументов командной строки имя бакета и имя папки, которую нужно создать внутри этого бакета
6
parser = argparse.ArgumentParser(description='Create a folder in an S3 bucket.')
7
parser.add_argument('-b', '--bucket', required=True, help='Name of the S3 bucket')
8
parser.add_argument('-d', '--directory', required=True, help='Name of the folder to create')
9
args = parser.parse_args()
10

11
# Создаем сессию и клиент для подключения к Object Storage
12
session = boto3.session.Session(profile_name='default')
13
s3 = session.client(service_name='s3', endpoint_url='https://storage.mwsapis.ru/')
14

15
# Создание папки (пустого объекта в S3)
16
folder_key = f"{args.directory}/"  # Добавляем косую черту в конце, чтобы обозначить папку
17
s3.put_object(Bucket=args.bucket, Key=folder_key, Body=b'')
18

19
print(f"Successfully created folder '{args.directory}' in bucket '{args.bucket}'")

1
package main
2

3
import (
4
    "bytes"
5
    "context"
6
    "flag"
7
    "fmt"
8
    "log"
9

10
    "github.com/aws/aws-sdk-go-v2/aws"
11
    "github.com/aws/aws-sdk-go-v2/config"
12
    "github.com/aws/aws-sdk-go-v2/service/s3"
13
)
14

15
func main() {
16
    // Получаем имя бакета из аргумента командной строки
17
    bucketName := flag.String("b", "", "The name of the bucket")
18
    folderName := flag.String("d", "", "Name of the folder to create")
19
    flag.Parse()
20

21
    if *bucketName == "" {
22
        fmt.Println("You must supply the name of a bucket (-b BUCKET)")
23
        return
24
    }
25
    if *folderName == "" {
26
        fmt.Println("You must supply the name of the folder (-d FOLDER)")
27
        return
28
    }
29

30
    // Подгружаем конфигурацию из ~/.aws/*
31
    cfg, err := config.LoadDefaultConfig(context.TODO())
32
    if err != nil {
33
        log.Fatal(err)
34
    }
35

36
    // Создаем клиент для доступа к хранилищу S3
37
    client := s3.NewFromConfig(cfg)
38

39
    // Создаем пустой объект, который будет представлять папку
40
    _, err = client.PutObject(context.TODO(), &s3.PutObjectInput{
41
        Bucket: aws.String(*bucketName),
42
        Key:    aws.String(*folderName + "/"), // Добавляем косую черту в конце, чтобы обозначить папку
43
        Body:   bytes.NewReader(nil),          // Передаем пустое тело
44
    })
45
    if err != nil {
46
        log.Fatalf("Unable to create folder %q in bucket %q, %v", *folderName, *bucketName, err)
47
    }
48

49
    fmt.Printf("Successfully created folder %q in bucket %q\n", *folderName, *bucketName)
50
}

1
 aws s3 rm --bucket <имя бакета> --key <имя папки> --recursive

1
import boto3
2
import argparse
3

4
def delete_objects_with_prefix(bucket_name, prefix):
5
    session = boto3.session.Session(profile_name='default')
6
    s3 = session.client(
7
       service_name='s3',
8
       endpoint_url='https://storage.mwsapis.ru/'
9
    )
10

11
    # Получаем список всех объектов в бакете: которые объединены в указанную папку
12
    objects = s3.list_objects_v2(Bucket=bucket_name, Prefix=prefix)
13
    objects_to_delete = [{'Key': obj['Key']} for obj in objects.get('Contents', [])]
14

15
    # Удаляем объекты по частям, т.к. есть ограничение на количество объектов в одном запросе
16
    max_keys = 1000
17
    for i in range(0, len(objects_to_delete), max_keys):
18
        response = s3.delete_objects(
19
            Bucket=bucket_name,
20
            Delete={'Objects': objects_to_delete[i:i+max_keys]}
21
        )
22
        print(f"Deleted {len(response.get('Deleted', []))} objects")
23

24
    print(f"Folder {prefix} deleted")
25

26
if __name__ == "__main__":
27
    parser = argparse.ArgumentParser(description='Delete objects with a specific prefix from an S3 bucket')
28
    parser.add_argument('-b', '--bucket', required=True, help='Name of the bucket')
29
    parser.add_argument('-f', '--folder', required=True, help='Name of the folder to delete')
30
    args = parser.parse_args()
31

32
    delete_objects_with_prefix(args.bucket, args.folder)

1
package main
2

3
import (
4
    "context"
5
    "flag"
6
    "fmt"
7
    "log"
8

9
    "github.com/aws/aws-sdk-go-v2/aws"
10
    "github.com/aws/aws-sdk-go-v2/config"
11
    "github.com/aws/aws-sdk-go-v2/service/s3"
12
    "github.com/aws/aws-sdk-go-v2/service/s3/types"
13
)
14

15
func main() {
16
    // Получаем имя бакета и префикс из аргументов командной строки
17
    bucketName := flag.String("b", "", "The name of the bucket")
18
    prefix := flag.String("f", "", "The name of the folder to delete")
19
    flag.Parse()
20

21
    if *bucketName == "" {
22
        fmt.Println("You must supply the name of a bucket (-b BUCKET)")
23
        return
24
    }
25

26
    if *prefix == "" {
27
        fmt.Println("You must supply the name of a folder (-f FOLDER)")
28
        return
29
    }
30

31
    // Подгружаем конфигурацию из ~/.aws/*
32
    cfg, err := config.LoadDefaultConfig(context.TODO())
33
    if err != nil {
34
        log.Fatal(err)
35
    }
36

37
    // Создаем клиент для доступа к Object Storage
38
    client := s3.NewFromConfig(cfg)
39

40
    // Получаем список всех объектов, объединенных в указанную папку
41
    listObjectsInput := &s3.ListObjectsV2Input{
42
        Bucket:  aws.String(*bucketName),
43
        Prefix:  aws.String(*prefix),
44
    }
45

46
    listObjectsOutput, err := client.ListObjectsV2(context.TODO(), listObjectsInput)
47
    if err != nil {
48
        log.Fatal(err)
49
    }
50

51
    var objectIdentifiers []types.ObjectIdentifier
52
    for _, obj := range listObjectsOutput.Contents {
53
        objectIdentifiers = append(objectIdentifiers, types.ObjectIdentifier{Key: obj.Key})
54
    }
55

56
    // Удаляем все объекты с указанным элементом в имени
57
    deleteObjectsInput := &s3.DeleteObjectsInput{
58
        Bucket: aws.String(*bucketName),
59
        Delete: &types.Delete{
60
             Objects: objectIdentifiers,
61
        },
62
    }
63

64
    _, err = client.DeleteObjects(context.TODO(), deleteObjectsInput)
65
    if err != nil {
66
        log.Fatal(err)
67
    }
68

69
    log.Printf("Successfully delete folder %s with all objects inside it" , *prefix)
70
}