Usar o Operações em Lote para habilitar chaves de bucket do S3 para SSE-KMS

Para obter uma lista de objetos usando o S3 Inventory

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. No painel de navegação à esquerda, selecione Buckets e escolha um bucket que contém objetos para criptografar.

3. Na guia Management (Gerenciamento), navegue para a seção Inventory configurations (Configurações de inventário) e escolha Create inventory configuration (Criar configuração de inventário).

4. Dê um nome ao seu novo inventário, insira o nome do bucket S3 de destino e, opcionalmente, crie um prefixo de destino para que o Amazon S3 atribua objetos nesse bucket.

5. Em Output format (Formato de saída), escolha CSV.

6. (Opcional) Na seção Campos adicionais: opcional, selecione Criptografia e quaisquer outros campos de relatórios de seu interesse. Defina a frequência das entregas de relatório como Daily (Diariamente) para que o primeiro relatório seja entregue ao seu bucket mais cedo.

7. Selecione Create (Criar) para salvar suas configurações.

Como filtrar o relatório do Inventário S3 usando o S3 Select

1. Abra o arquivo manifest.json do seu relatório de inventário e observe a seção fileSchema do JSON. Isso informa a consulta que você executa nos dados.

   O seguinte JSON é um arquivo manifest.json de exemplo para um inventário em formato CSV em um bucket com versionamento habilitado. Dependendo de como você configurou seu relatório de inventário, seu manifesto pode parecer diferente.

     {
       "sourceBucket": "batchoperationsdemo",
       "destinationBucket": "arn:aws:s3:::amzn-s3-demo-destination-bucket",
       "version": "2021-05-22",
       "creationTimestamp": "1558656000000",
       "fileFormat": "CSV",
       "fileSchema": "Bucket, Key, VersionId, IsLatest, IsDeleteMarker, BucketKeyStatus",
       "files": [
         {
           "key": "demoinv/batchoperationsdemo/DemoInventory/data/009a40e4-f053-4c16-8c75-6100f8892202.csv.gz",
           "size": 72691,
           "MD5checksum": "c24c831717a099f0ebe4a9d1c5d3935c"
         }
       ]
     }

   Se o versionamento não estiver ativado no bucket, ou se você optar por executar o relatório para as versões mais recentes, o fileSchema é Bucket, Key e BucketKeyStatus.

   Se o versionamento estiver habilitado, dependendo de como você configurou o relatório de inventário, o fileSchema poderá incluir o seguinte: Bucket, Key, VersionId, IsLatest, IsDeleteMarker, BucketKeyStatus. Portanto, preste atenção às colunas 1, 2, 3 e 6 ao executar a consulta.

   As Operações em Lote do S3 precisam do bucket, da chave e do ID da versão como entradas para executar o trabalho, além do campo pelo qual pesquisar, que é o BucketKeyStatus. Você não precisa do campo VersionID, mas é útil especificar o campo VersionID quando você opera em um bucket com versionamento. Para ter mais informações, consulte Trabalhar com objetos em um bucket com versionamento habilitado.

2. Localize os arquivos de dados para o relatório de inventário. O objeto manifest.json lista os arquivos de dados em files (arquivos).

3. Depois de localizar e selecionar o arquivo de dados no console do S3, escolha Actions (Ações) e, em seguida, Query with S3 Select (Consulta com o S3 Select).

4. Mantenha os campos predefinidos CSV, Comma (Vírgula) e GZIP selecionados e escolha Next (Avançar).

5. Para revisar o formato do relatório de inventário antes de prosseguir, escolha Show file preview (Mostrar visualização do arquivo).

6. Insira as colunas a serem referenciadas no campo de expressão SQL. Depois, escolha Run SQL (Executar SQL). A expressão a seguir retorna as colunas 1 a 3 para todos os objetos sem chave de bucket do S3 configurada.

   select s._1, s._2, s._3 from s3object s where s._6 = 'DISABLED'

   Estes são resultados de exemplo.

         batchoperationsdemo,0100059%7Ethumb.jpg,lsrtIxksLu0R0ZkYPL.LhgD5caTYn6vu
         batchoperationsdemo,0100074%7Ethumb.jpg,sd2M60g6Fdazoi6D5kNARIE7KzUibmHR
         batchoperationsdemo,0100075%7Ethumb.jpg,TLYESLnl1mXD5c4BwiOIinqFrktddkoL
         batchoperationsdemo,0200147%7Ethumb.jpg,amufzfMi_fEw0Rs99rxR_HrDFlE.l3Y0
         batchoperationsdemo,0301420%7Ethumb.jpg,9qGU2SEscL.C.c_sK89trmXYIwooABSh
         batchoperationsdemo,0401524%7Ethumb.jpg,ORnEWNuB1QhHrrYAGFsZhbyvEYJ3DUor
         batchoperationsdemo,200907200065HQ%7Ethumb.jpg,d8LgvIVjbDR5mUVwW6pu9ahTfReyn5V4
         batchoperationsdemo,200907200076HQ%7Ethumb.jpg,XUT25d7.gK40u_GmnupdaZg3BVx2jN40
         batchoperationsdemo,201103190002HQ%7Ethumb.jpg,z.2sVRh0myqVi0BuIrngWlsRPQdb7qOS

7. Faça download dos resultados, salve-os em um formato CSV e faça seu upload para o Amazon S3 como sua lista de objetos para o trabalho do S3 Batch Operations.

8. Se você tiver vários arquivos de manifesto, execute Query woth S3 Select (Consulta com o S3 Select) neles também. Dependendo do tamanho dos resultados, você pode combinar as listas e executar um único trabalho do S3 Batch Operations ou executar cada lista como um trabalho separado. Para decidir o número de trabalhos a executar, considere o preço de executar cada trabalho do Operações em Lote do S3.

1. Abra o console do IAM em https://console.aws.amazon.com/iam/.

2. No painel de navegação à esquerda, escolha Política e Criar política.

3. Selecione a guia JSON. SelecioneEdit policy (Editar política) e adicione a política do IAM de exemplo que aparece no bloco de código a seguir.

   Depois de copiar o exemplo de política no console do IAM, substitua o seguinte:

   1. Substitua amzn-s3-demo-source-bucket pelo nome do bucket de origem para copiar objetos dele.

   2. Substitua amzn-s3-demo-destination-bucket pelo nome do bucket de destino para copiar objetos nele.

   3. Substitua amzn-s3-demo-manifest-bucket/manifest-key pelo nome do objeto de manifesto.

   4. Substitua amzn-s3-demo-completion-report-bucket pelo nome do bucket onde deseja salvar os relatórios de conclusão.

     {
       "Version": "2012-10-17",
       "Statement": [
         {
           "Sid": "CopyObjectsToEncrypt",
           "Effect": "Allow",
           "Action": [
             "s3:PutObject",
             "s3:PutObjectTagging",
             "s3:PutObjectAcl",
             "s3:PutObjectVersionTagging",
             "s3:PutObjectVersionAcl",
             "s3:GetObject",
             "s3:GetObjectAcl",
             "s3:GetObjectTagging",
             "s3:GetObjectVersion",
             "s3:GetObjectVersionAcl",
             "s3:GetObjectVersionTagging"
           ],
           "Resource": [
             "arn:aws:s3:::amzn-s3-demo-source-bucket/*",
             "arn:aws:s3:::amzn-s3-demo-destination-bucket/*"
           ]
         },
         {
           "Sid": "ReadManifest",
           "Effect": "Allow",
           "Action": [
             "s3:GetObject",
             "s3:GetObjectVersion"
           ],
           "Resource": "arn:aws:s3:::amzn-s3-demo-manifest-bucket/manifest-key"
         },
         {
           "Sid": "WriteReport",
           "Effect": "Allow",
           "Action": [
             "s3:PutObject"
           ],
           "Resource": "arn:aws:s3:::amzn-s3-demo-completion-report-bucket/*"
         }
       ]
     }

4. Escolha Next: Tags (Próximo: tags).

5. Adicione quaisquer tags desejadas (opcional) e escolha Next: Review (Próximo: Revisão).

6. Adicione um nome para a política e, opcionalmente, uma descrição. Em seguida, escolha Create policy (Criar política).

7. Selecione Review policy (Revisar política) e, em seguida, escolha, Save changes (Salvar alterações).

8. Com sua política do S3 Batch Operations agora concluída, o console retorna você à página Policies (Políticas) do IAM. Filtre o nome da política, escolha o botão à esquerda do nome da política, escolha o botão Policy actions (Ações da política) e escolha Attach (Anexar).

   Para anexar a política recém-criada a uma função do IAM, selecione os usuários, grupos ou funções apropriados em sua conta e escolha Attach policy (Anexar política). Isso levará você de volta ao console do IAM.

1. No painel de navegação do console do IAM, selecione Perfis e escolha Criar perfil.

2. Selecione AWS service (Serviço da AWS), S3 e Operações em Lote do S3). Então, escolha Próximo: Permissões.

3. Comece a inserir o nome da política do IAM que acabou de criar. Marque a caixa de seleção ao lado do nome da política quando ela for exibida e escolha Next: Tags (Próximo: Tags).

4. (Opcional) Adicione tags ou mantenha os campos de chave e valor em branco para este exercício. Selecione Next: Review.

5. Insira um nome de função e aceite a descrição padrão ou adicione a sua própria. Selecione Create role.

6. Certifique-se de que o usuário que está criando o trabalho tenha as permissões no exemplo a seguir.

   Substitua account-id por seu ID da Conta da AWS e IAM-role-name pelo nome que você planeja aplicar ao perfil do IAM que você criará na etapa de criação do trabalho das Operações em Lote posteriormente. Para ter mais informações, consulte Conceder permissões para operações em lote.

               {
               "Sid": "AddIamPermissions",
               "Effect": "Allow",
               "Action": [
               "iam:GetRole",
               "iam:PassRole"
               ],
               "Resource": "arn:aws:iam::account-id:role/IAM-role-name"
               }

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. Na lista Buckets, escolha o bucket para o qual você deseja ativar uma chave de bucket do S3.

3. Escolha Properties (Propriedades).

4. Em Default encryption (Criptografia padrão), escolha Edit (Editar).

5. Em Tipo de criptografia, você pode escolher entre Chaves gerenciadas do Amazon S3 (SSE-S3) e Chave do AWS Key Management Service (SSE-KMS).

6. Se você escolheu chave do AWS Key Management Service (SSE-KMS), em AWS KMS key, poderá especificar a chave do AWS KMS por meio de uma das opções a seguir.

   • Para selecionar entre uma lista de chaves do KMS disponíveis, selecione Escolher entre suas chaves do AWS KMS. Na lista de chaves disponíveis, selecione uma chave do KMS de criptografia simétrica na mesma região que seu bucket. A chave gerenciada pela AWS (aws/s3) e as chaves gerenciadas pelo cliente são exibidas na lista.

   • Para inserir o ARN da chave do KMS, selecione Inserir ARN da chave do AWS KMS e insira o ARN da chave do KMS no campo exibido.

   • Para criar uma chave gerenciada pelo cliente no console do AWS KMS, selecione Criar uma chave do KMS.

7. Em Bucket key (Chave do bucket), escolha Enable (Habilitar) e, em seguida, escolha Save changes (Salvar alterações).

1. Abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. No painel de navegação, escolha S3 Batch Operations e, em seguida, escolha Create Job (Criar trabalho).

3. Selecione a Region (Região) onde você armazena seus objetos e escolha CSV como o tipo de manifesto.

4. Insira o caminho ou navegue para o arquivo de manifesto CSV criado anteriormente a partir dos resultados do S3 Select (ou Athena). Se o manifesto contiver IDs de versão, marque essa caixa. Escolha Next (Próximo).

5. Selecione a operação Copy (Copiar) e escolha o bucket de destino da cópia. Você pode manter a criptografia no lado do servidor desabilitada. Desde que o destino do bucket tenha o recurso de chaves de bucket do S3 habilitado, a operação de cópia aplicará chaves de bucket do S3 no bucket de destino.

6. (Opcional) Escolha uma classe de armazenamento e os outros parâmetros conforme desejado. Os parâmetros especificados nesta etapa se aplicam a todas as operações executadas nos objetos listados no manifesto. Escolha Próximo.

7. Para a criptografia no lado do servidor, siga estas etapas:

   1. Em Criptografia do lado do servidor, selecione uma das seguintes opções:

      • Para manter as configurações de bucket para a criptografia padrão de objetos no lado do servidor ao armazená-los no Amazon S3, selecione Não especificar uma chave de criptografia. Desde que o destino do bucket tenha o recurso de chaves de bucket do S3 ativado, a operação de cópia aplicará uma chave de bucket do S3 ao bucket de destino.

        nota

        Se a política de bucket para o destino especificado exigir que os objetos sejam criptografados antes de armazená-los no Amazon S3, você deverá especificar uma chave de criptografia. Caso contrário, ocorrerá uma falha na cópia de objetos no destino.

      • Para criptografar objetos antes de armazená-los no Amazon S3, selecione Especificar uma chave de criptografia.

   2. Em Configurações de criptografia, se você selecionar Especificar uma chave de criptografia, deverá escolher Usar configurações do bucket de destino para criptografia padrão ou Substituir configurações do bucket de destino para criptografia padrão.

   3. Se você selecionar Substituir configurações do bucket de destino para criptografia padrão, deverá definir as configurações de criptografia a seguir.

      1. Em Tipo de criptografia, você deve escolher Chaves gerenciadas do Amazon S3 (SSE-S3) ou Chave do AWS Key Management Service (SSE-KMS). A SSE-S3 usa uma das criptografias de bloco mais fortes: o padrão de criptografia avançada de 256 bits (AES-256) para criptografar cada objeto. A SSE-KMS oferece mais controle sobre sua chave. Para ter mais informações, consulte Usar a criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3) e Usar criptografia do lado do servidor com o AWS KMS (SSE-KMS).

      2. Se você selecionar chave do AWS Key Management Service (SSE-KMS), em AWS KMS key, poderá especificar sua AWS KMS key por meio de uma das opções a seguir.

         • Para escolher em uma lista de chaves do KMS disponíveis, selecione Escolher entre suas AWS KMS keys e, depois, escolha uma chave do KMS de criptografia simétrica na mesma região que seu bucket. A chave gerenciada pela AWS (aws/s3) e as chaves gerenciadas pelo cliente são exibidas na lista.

         • Para inserir o ARN da chave do KMS, selecione Inserir ARN da chave do AWS KMS e insira o ARN da chave do KMS no campo exibido.

         • Para criar uma chave gerenciada pelo cliente no console do AWS KMS, selecione Criar uma chave do KMS.

      3. Em Bucket key (Chave do bucket), escolha Enable (Ativar). A operação de cópia aplicará uma chave do bucket do S3 no bucket de destino.

8. Dê uma descrição ao seu trabalho (ou mantenha o padrão), defina seu nível de prioridade, escolha um tipo de relatório e especifique o Path to completion report destination (Caminho para destino do relatório de conclusão).

9. Na seção Permissions (Permissões), certifique-se de escolher a função do IAM do Batch Operations definida anteriormente. Escolha Next (Próximo).

10. Em Review (Revisão), verifique as configurações. Se precisar fazer alterações, escolha Previous (Anterior). Depois de confirmar as configurações do Batch Operations, escolha Create job (Criar trabalho).

    Para obter mais informações, consulte Criar um trabalho de operações em lote do S3.

1. Escolha o botão de atualização no console do Amazon S3 para verificar o progresso. Dependendo do tamanho do manifesto, a leitura pode levar minutos ou horas.

2. Quando o S3 termina de ler o manifesto do trabalho, o trabalho é movido para o estado Awaiting your confirmation (Aguardando sua confirmação). Escolha o botão de opção à esquerda da ID do trabalho e escolha Run job (Executar trabalho).

3. Verifique as configurações do trabalho e escolha Run job (Executar trabalho) no canto inferior direito.

   Depois que o trabalho começar a ser executado, você poderá escolher o botão de atualizar para verificar o andamento na exibição do painel do console ou selecionando o trabalho específico.

4. Quando o trabalho é concluído, você pode exibir as contagens de objetos Successful (Com êxito) e Failed (Com falha) para confirmar que tudo foi executado conforme esperado. Se você ativou relatórios de trabalhos, verifique o relatório do trabalho para saber a causa exata de qualquer operação com falha.

   Você também pode executar essas etapas usando a AWS CLI, AWS SDKs ou a API REST do Amazon S3. Para obter mais informações sobre como rastrear o status de um trabalho e os relatórios de conclusão, consulte Monitoramento de relatórios de status e conclusão.