Criar um trabalho de operações em lote do S3

Use os comandos a seguir para criar um perfil do AWS Identity and Access Management (IAM), depois crie uma política do IAM para atribuir as permissões relevantes. O perfil e a política a seguir concedem permissão ao Amazon S3 para adicionar etiquetas de objeto, que serão necessárias quando você criar o trabalho em uma etapa posterior.

1. Use o exemplo de comando a seguir para criar um perfil do IAM para usar a funcionalidade Operações em Lote. Para usar esse exemplo de comando, substitua S3BatchJobRole pelo nome que você deseja dar ao perfil.

   aws iam create-role \
    --role-name S3BatchJobRole \
    --assume-role-policy-document '{
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"batchoperations.s3.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }'

   Registre o nome de recurso da Amazon (ARN) da função. Você precisará do ARN ao criar trabalhos.

2. Use o exemplo de comando a seguir para criar uma política do IAM com as permissões necessárias e anexe-a ao perfil do IAM que você criou na etapa anterior. Para obter mais informações sobre as permissões necessárias, consulte Conceder permissões para operações em lote.

   nota

   Os trabalhos de Operações em Lote que realizam ações em buckets de diretório exigem permissões específicas. Para obter mais informações, consulte AWS Identity and Access Management (IAM) for S3 Express One Zone.

   Para usar esse exemplo de comando, substitua user input placeholders da seguinte forma:

   • Substitua S3BatchJobRole pelo nome do seu perfil do IAM. Garanta que esse nome corresponda ao nome que você usou anteriormente.

   • Substitua PutObjectTaggingBatchJobPolicy pelo nome que você deseja atribuir à política do IAM.

   • Substitua amzn-s3-demo-destination-bucket pelo nome do bucket que contém os objetos aos quais você deseja aplicar etiquetas.

   • Substitua amzn-s3-demo-manifest-bucket pelo nome do bucket que contém o manifesto.

   • Substitua amzn-s3-demo-completion-report-bucket pelo nome do bucket ao qual você deseja que o relatório de conclusão seja entregue.

   aws iam put-role-policy \
     --role-name S3BatchJobRole \
     --policy-name PutObjectTaggingBatchJobPolicy \
     --policy-document '{
     "Version":"2012-10-17",
     "Statement":[
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutObjectTagging",
           "s3:PutObjectVersionTagging"
         ],
         "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
       },
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:GetObjectVersion",
           "s3:GetBucketLocation"
         ],
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket/*"
         ]
       },
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutObject",
           "s3:GetBucketLocation"
         ],
         "Resource":[
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*"
         ]
       }
     ]
   }'

Use o exemplo de comando a seguir para criar um trabalho S3PutObjectTagging.

O arquivo manifest.csv fornece uma lista de buckets e valores de chave de objeto. O trabalho aplica as etiquetas específicas aos objetos identificados no manifesto. O ETag é o ETag do objeto manifest.csv, que você pode obter no console do Amazon S3. Essa solicitação especifica o parâmetro no-confirmation-required para que você possa executar o trabalho sem precisar confirmá-lo com o comando update-job-status. Para obter mais informações, consulte create-job na Referência de comandos da AWS CLI.

Para usar esse exemplo de comando, substitua os user input placeholders por suas próprias informações. Substitua IAM-role pelo ARN do perfil do IAM que você criou anteriormente.

aws s3control create-job \
    --region us-west-2 \
    --account-id acct-id \
    --operation '{"S3PutObjectTagging": { "TagSet": [{"Key":"keyOne", "Value":"ValueOne"}] }}' \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest.csv","ETag":"60e460c9d1046e73f7dde5043ac3ae85"}}' \
    --report '{"Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket","Prefix":"final-reports", "Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' \
    --priority 42 \
    --role-arn IAM-role \
    --client-request-token $(uuidgen) \
    --description "job description" \
    --no-confirmation-required

Em resposta, o Amazon S3 retorna um ID de trabalho (por exemplo, 00e123a4-c0d8-41f4-a0eb-b46f9ba5b07c). Você precisará do ID do trabalho para identificar, monitorar e modificar o trabalho.

Use os comandos a seguir para criar um perfil do AWS Identity and Access Management (IAM), depois crie uma política do IAM para atribuir as permissões. O perfil e a política a seguir concedem permissão ao Amazon S3 para excluir etiquetas de objeto, que serão necessárias quando você criar o trabalho em uma etapa posterior.

1. Use o exemplo de comando a seguir para criar um perfil do IAM para usar a funcionalidade Operações em Lote. Para usar esse exemplo de comando, substitua S3BatchJobRole pelo nome que você deseja dar ao perfil.

   aws iam create-role \
    --role-name S3BatchJobRole \
    --assume-role-policy-document '{
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Principal":{
               "Service":"batchoperations.s3.amazonaws.com"
            },
            "Action":"sts:AssumeRole"
         }
      ]
   }'

   Registre o nome de recurso da Amazon (ARN) da função. Você precisará do ARN ao criar trabalhos.

2. Use o exemplo de comando a seguir para criar uma política do IAM com as permissões necessárias e anexe-a ao perfil do IAM que você criou na etapa anterior. Para obter mais informações sobre as permissões necessárias, consulte Conceder permissões para operações em lote.

   nota

   Os trabalhos de Operações em Lote que realizam ações em buckets de diretório exigem permissões específicas. Para obter mais informações, consulte AWS Identity and Access Management (IAM) for S3 Express One Zone.

   Para usar esse exemplo de comando, substitua user input placeholders da seguinte forma:

   • Substitua S3BatchJobRole pelo nome do seu perfil do IAM. Garanta que esse nome corresponda ao nome que você usou anteriormente.

   • Substitua DeleteObjectTaggingBatchJobPolicy pelo nome que você deseja atribuir à política do IAM.

   • Substitua amzn-s3-demo-destination-bucket pelo nome do bucket que contém os objetos aos quais você deseja aplicar etiquetas.

   • Substitua amzn-s3-demo-manifest-bucket pelo nome do bucket onde deseja salvar o manifesto.

   • Substitua amzn-s3-demo-completion-report-bucket pelo nome do bucket ao qual você deseja que o relatório de conclusão seja entregue.

   aws iam put-role-policy \
     --role-name S3BatchJobRole \
     --policy-name DeleteObjectTaggingBatchJobPolicy \
     --policy-document '{
     "Version":"2012-10-17",
     "Statement":[
       {
         "Effect":"Allow",
         "Action":[
           "s3:DeleteObjectTagging",
           "s3:DeleteObjectVersionTagging"
         ],
         "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
       },
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutInventoryConfiguration"
         ],
         "Resource": "arn:aws:s3:::amzn-s3-demo-destination-bucket"
       },
       {
         "Effect": "Allow",
         "Action": [
           "s3:GetObject",
           "s3:GetObjectVersion",
           "s3:ListBucket"
         ],
         "Resource": [
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket/*"
         ]
       },
       {
         "Effect":"Allow",
         "Action":[
           "s3:PutObject",
           "s3:ListBucket"
         ],
         "Resource":[
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
           "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*",
           "arn:aws:s3:::amzn-s3-demo-manifest-bucket/*"
         ]
       }
     ]
   }'

Use o exemplo de comando a seguir para criar o trabalho S3DeleteObjectTagging.

Neste exemplo, os valores na seção --report especificam o bucket, o prefixo, o formato e o escopo do relatório de trabalho que será gerado. A seção --manifest-generator especifica informações sobre o bucket de origem que contém os objetos sobre os quais o trabalho atuará, informações sobre a lista de saída do manifesto que será gerada para o trabalho e critérios de filtro para restringir o escopo de objetos a serem incluídos no manifesto por data de criação, restrições de nome, tamanho e classe de armazenamento. O comando também especifica a prioridade do trabalho, o perfil do IAM e a Região da AWS.

Para obter mais informações, consulte create-job na Referência de comandos da AWS CLI.

Para usar esse exemplo de comando, substitua os user input placeholders por suas próprias informações. Substitua IAM-role pelo ARN do perfil do IAM que você criou anteriormente.

aws s3control create-job \
    --account-id 012345678901 \
    --operation '{
        "S3DeleteObjectTagging": {}
    }' \
    --report '{
        "Bucket":"arn:aws:s3:::amzn-s3-demo-completion-report-bucket",
        "Prefix":"reports", 
        "Format":"Report_CSV_20180820",
        "Enabled":true,
        "ReportScope":"AllTasks"
    }' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "012345678901",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "012345678901",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
     --priority 2 \
     --role-arn IAM-role \
     --region us-east-1

Em resposta, o Amazon S3 retorna um ID de trabalho (por exemplo, 00e123a4-c0d8-41f4-a0eb-b46f9ba5b07c). Você precisará desse ID de trabalho para identificar, monitorar e modificar o trabalho.