Criar um painel da Lente de Armazenamento do Amazon S3 - Amazon Simple Storage Service

Criar um painel da Lente de Armazenamento do Amazon S3

Você pode criar painéis personalizados adicionais da Lente de Armazenamento do S3 que podem ser colocados no escopo de sua organização no AWS Organizations ou em Regiões da AWS específicas ou buckets específicos em uma conta.

nota

As atualizações na configuração do painel podem levar até 48 horas para serem exibidas ou visualizadas com precisão.

Use as etapas a seguir para criar um painel do Amazon S3 Storage Lens no console do Amazon S3.

Etapa 1: Definir o escopo do painel
  1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. Na barra de navegação na parte superior da página, escolha o nome da região da AWS exibida no momento. Em seguida, escolha a região para a qual você deseja mudar.

  3. No painel de navegação esquerdo, em Lente de Armazenamento do S3, selecione Painéis.

  4. Escolha Create dashboard (Criar painel).

  5. Na página Dashboard (Painel), na seção General (Geral), faça o seguinte:

    1. Visualize a Região de origem para seu painel. A região de origem é a Região da AWS em que a configuração e as métricas referentes a esse painel do Lente de Armazenamento estão armazenadas.

    2. Insira um nome de painel.

      Os nomes do painel devem ter menos de 65 caracteres e não devem conter caracteres ou espaços especiais.

      nota

      Não é possível alterar o nome do painel depois que o painel for criado.

    3. Opcionalmente, você pode optar por adicionar Tags ao seu painel. Você pode usar tags para gerenciar permissões para seu painel e rastrear os custos para o S3 Storage Lens.

      Para obter mais informações, consulte Controle do acesso usando tags de recurso no Guia do usuário do IAM e Tags de alocação de custos geradas pela AWS no Guia do usuário do AWS Billing.

      nota

      Você pode adicionar até 50 tags à configuração do painel.

  6. Na seção Dashboard scope (Escopo do painel), faça o seguinte:

    1. Escolha as regiões e os buckets que deseja que o S3 Storage Lens inclua ou exclua no painel.

    2. Escolha os buckets nas regiões selecionadas que deseja que o S3 Storage Lens inclua ou exclua. Você pode incluir ou excluir buckets, mas não ambos. Essa opção não está disponível quando você cria painéis no nível da organização.

    nota
    • Você pode incluir ou excluir regiões e buckets. Essa opção é limitada a regiões somente ao criar painéis no nível da organização em contas de membro na sua organização.

    • Você pode escolher até 50 buckets para incluir ou excluir.

Etapa 2: Configurar a seleção de métricas
  1. Na seção Metrics selection (Seleção de métricas), escolha o tipo de métricas que você deseja agregar para este painel.

    • Para incluir métricas gratuitas agregadas por bucket e disponíveis para consultas por 14 dias, escolha Free metrics (Métricas gratuitas).

    • Para ativar métricas avançadas e outras opções avançadas, escolha Advanced metrics and recommendations (Métricas e recomendações avançadas). Essas opções incluem agregação avançada de prefixos, publicação do Amazon CloudWatch e recomendações contextuais. Os dados ficam disponíveis para consultas por 15 meses. As métricas e recomendações avançadas têm um custo adicional. Para obter mais informações, consulte Definição de preço do Amazon S3.

      Para obter mais informações sobre métricas avançadas e métricas gratuitas, consulte Seleção de métricas.

  2. Em Advanced metrics and recommendations features (Recursos de métricas e recomendações avançadas), selecione as opções que deseja habilitar:

    • Advanced metrics (Métricas avançadas)

    • Publicação no CloudWatch

    • Agregação de prefixo

    Importante

    Se você habilitar a agregação de prefixos na configuração do S3 Storage Lens, as métricas de nível de prefixo não serão publicadas no CloudWatch. Somente métricas em nível de organização, conta e bucket do S3 Storage Lens são publicadas no CloudWatch.

  3. Se você ativou Advanced metrics (Métricas avançadas), selecione as Advanced metrics categories (Categorias de métricas avançadas) que deseja exibir no painel da Lente de Armazenamento do S3:

    • Métricas de atividade

    • Detailed status code metrics (Métricas detalhadas do código de status)

    • Advanced cost optimization metrics (Métricas avançadas de otimização de custos)

    • Advanced data protection metrics (Métricas avançadas de proteção de dados)

    Para obter mais informações sobre categorias de métricas, consulte Categorias de métricas. Para obter uma lista completa de métricas, consulte Glossário de métricas de lente de armazenamento do Amazon S3.

  4. Caso tenha optado por habilitar a agregação de prefixos, configure o seguinte:

    1. Escolha o tamanho mínimo de limite de prefixo para este painel.

      Por exemplo, um limite de prefixo de 5% indica que serão agregados os prefixos que compõem 5% ou mais do tamanho total do armazenamento do bucket.

    2. Escolha o nome do prefixo.

      Essa configuração indica o número máximo de níveis até os quais os prefixos são avaliados. A profundidade do prefixo deve ser inferior a 10.

    3. Insira um caractere delimitador de prefixo.

      Este valor é usado para identificar cada nível de prefixo. O valor padrão no Amazon S3 é o caractere /, mas sua estrutura de armazenamento pode usar outros caracteres delimitadores.

(Opcional) Etapa 3: Exportar métricas para o painel
  1. Na seção Metrics export (Exportação de métricas), escolha Enable (Ativar) para criar uma exportação de métricas que será colocada diariamente em um bucket de destino de sua escolha.

    A exportação de métricas acontece no formato CSV ou Apache Parquet. Ele representa o mesmo escopo de dados que os dados do painel do S3 Storage Lens sem as recomendações.

  2. Se a exportação de métricas foi ativada, escolha o formato de saída da exportação diária: CSV ou Apache Parquet.

    Parquet é um formato de arquivo de código aberto para Hadoop que armazena dados aninhados em um formato colunar plano.

  3. Escolha o bucket do S3 de destino para sua exportação de métricas.

    Você pode escolher um bucket na conta atual do painel do S3 Storage Lens. Ou você poderá escolher outra Conta da AWS se tiver as permissões do bucket de destino e o ID da conta do proprietário do bucket de destino.

  4. Escolha o bucket do S3 de destino (formato: s3://bucket-name/prefix).

    O bucket deve estar na região inicial do seu painel da Lente de Armazenamento do S3. O console do S3 mostra a Destination bucket permission (Permissão do bucket de destino) que será adicionada pelo Amazon S3 à política do bucket de destino. O Amazon S3 atualiza a política no bucket de destino para permitir que o S3 coloque dados nesse bucket.

  5. (Opcional) Para habilitar a criptografia do lado do servidor para a exportação de métricas, escolha Specify an encryption key (Especificar uma chave de criptografia). Depois, escolha Tipo de criptografia: Chaves gerenciadas do Amazon S3 (SSE-S3) ou Chave do AWS Key Management Service (SSE-KMS).

    Você pode escolher entre uma chave gerenciada pelo Amazon S3 (SSE-S3) e uma chave do AWS Key Management Service (AWS KMS) (SSE-KMS).

  6. (Opcional) Para especificar uma chave do AWS KMS, você deve escolher uma chave do KMS ou inserir o nome do recurso da Amazon (ARN) de uma chave.

    Se escolher uma chave gerenciada pelo cliente, você deverá conceder permissão de criptografia à Lente de Armazenamento do S3 na política de chaves do AWS KMS. Para ter mais informações, consulte Usar uma AWS KMS key para criptografar suas exportações de métricas.

  7. Escolha Create dashboard (Criar painel).

O comando de exemplo a seguir cria uma configuração da Lente de Armazenamento do Amazon S3 com tags. Para usar esses exemplos, substitua os user input placeholders por suas próprias informações.

aws s3control put-storage-lens-configuration --account-id=111122223333 --config-id=example-dashboard-configuration-id --region=us-east-1 --storage-lens-configuration=file://./config.json --tags=file://./tags.json

O comando de exemplo a seguir cria uma configuração da Lente de Armazenamento do Amazon S3 sem tags. Para usar esses exemplos, substitua os user input placeholders por suas próprias informações.

aws s3control put-storage-lens-configuration --account-id=222222222222 --config-id=your-configuration-id --region=us-east-1 --storage-lens-configuration=file://./config.json
exemplo – Criar e atualizar uma configuração da Lente de Armazenamento do Amazon S3

O exemplo a seguir cria e atualiza uma configuração da Lente de Armazenamento do Amazon S3 no SDK para Java:

package aws.example.s3control; import com.amazonaws.AmazonServiceException; import com.amazonaws.SdkClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3control.AWSS3Control; import com.amazonaws.services.s3control.AWSS3ControlClient; import com.amazonaws.services.s3control.model.AccountLevel; import com.amazonaws.services.s3control.model.ActivityMetrics; import com.amazonaws.services.s3control.model.BucketLevel; import com.amazonaws.services.s3control.model.CloudWatchMetrics; import com.amazonaws.services.s3control.model.Format; import com.amazonaws.services.s3control.model.Include; import com.amazonaws.services.s3control.model.OutputSchemaVersion; import com.amazonaws.services.s3control.model.PrefixLevel; import com.amazonaws.services.s3control.model.PrefixLevelStorageMetrics; import com.amazonaws.services.s3control.model.PutStorageLensConfigurationRequest; import com.amazonaws.services.s3control.model.S3BucketDestination; import com.amazonaws.services.s3control.model.SSES3; import com.amazonaws.services.s3control.model.SelectionCriteria; import com.amazonaws.services.s3control.model.StorageLensAwsOrg; import com.amazonaws.services.s3control.model.StorageLensConfiguration; import com.amazonaws.services.s3control.model.StorageLensDataExport; import com.amazonaws.services.s3control.model.StorageLensDataExportEncryption; import com.amazonaws.services.s3control.model.StorageLensTag; import java.util.Arrays; import java.util.List; import static com.amazonaws.regions.Regions.US_WEST_2; public class CreateAndUpdateDashboard { public static void main(String[] args) { String configurationId = "ConfigurationId"; String sourceAccountId = "111122223333"; String exportAccountId = "Destination Account ID"; String exportBucketArn = "arn:aws:s3:::destBucketName"; // The destination bucket for your metrics export must be in the same Region as your S3 Storage Lens configuration. String awsOrgARN = "arn:aws:organizations::123456789012:organization/o-abcdefgh"; Format exportFormat = Format.CSV; try { SelectionCriteria selectionCriteria = new SelectionCriteria() .withDelimiter("/") .withMaxDepth(5) .withMinStorageBytesPercentage(10.0); PrefixLevelStorageMetrics prefixStorageMetrics = new PrefixLevelStorageMetrics() .withIsEnabled(true) .withSelectionCriteria(selectionCriteria); BucketLevel bucketLevel = new BucketLevel() .withActivityMetrics(new ActivityMetrics().withIsEnabled(true)) .withAdvancedCostOptimizationMetrics(new AdvancedCostOptimizationMetrics().withIsEnabled(true)) .withAdvancedDataProtectionMetrics(new AdvancedDataProtectionMetrics().withIsEnabled(true)) .withDetailedStatusCodesMetrics(new DetailedStatusCodesMetrics().withIsEnabled(true)) .withPrefixLevel(new PrefixLevel().withStorageMetrics(prefixStorageMetrics)); AccountLevel accountLevel = new AccountLevel() .withActivityMetrics(new ActivityMetrics().withIsEnabled(true)) .withAdvancedCostOptimizationMetrics(new AdvancedCostOptimizationMetrics().withIsEnabled(true)) .withAdvancedDataProtectionMetrics(new AdvancedDataProtectionMetrics().withIsEnabled(true)) .withDetailedStatusCodesMetrics(new DetailedStatusCodesMetrics().withIsEnabled(true)) .withBucketLevel(bucketLevel); Include include = new Include() .withBuckets(Arrays.asList("arn:aws:s3:::bucketName")) .withRegions(Arrays.asList("us-west-2")); StorageLensDataExportEncryption exportEncryption = new StorageLensDataExportEncryption() .withSSES3(new SSES3()); S3BucketDestination s3BucketDestination = new S3BucketDestination() .withAccountId(exportAccountId) .withArn(exportBucketArn) .withEncryption(exportEncryption) .withFormat(exportFormat) .withOutputSchemaVersion(OutputSchemaVersion.V_1) .withPrefix("Prefix"); CloudWatchMetrics cloudWatchMetrics = new CloudWatchMetrics() .withIsEnabled(true); StorageLensDataExport dataExport = new StorageLensDataExport() .withCloudWatchMetrics(cloudWatchMetrics) .withS3BucketDestination(s3BucketDestination); StorageLensAwsOrg awsOrg = new StorageLensAwsOrg() .withArn(awsOrgARN); StorageLensConfiguration configuration = new StorageLensConfiguration() .withId(configurationId) .withAccountLevel(accountLevel) .withInclude(include) .withDataExport(dataExport) .withAwsOrg(awsOrg) .withIsEnabled(true); List<StorageLensTag> tags = Arrays.asList( new StorageLensTag().withKey("key-1").withValue("value-1"), new StorageLensTag().withKey("key-2").withValue("value-2") ); AWSS3Control s3ControlClient = AWSS3ControlClient.builder() .withCredentials(new ProfileCredentialsProvider()) .withRegion(US_WEST_2) .build(); s3ControlClient.putStorageLensConfiguration(new PutStorageLensConfigurationRequest() .withAccountId(sourceAccountId) .withConfigId(configurationId) .withStorageLensConfiguration(configuration) .withTags(tags) ); } catch (AmazonServiceException e) { // The call was transmitted successfully, but Amazon S3 couldn't process // it and returned an error response. e.printStackTrace(); } catch (SdkClientException e) { // Amazon S3 couldn't be contacted for a response, or the client // couldn't parse the response from Amazon S3. e.printStackTrace(); } } }

Para obter mais visibilidade do seu armazenamento, você pode criar um ou mais grupos da Lente de Armazenamento do S3 e anexá-los ao seu painel. Um grupo da Lente de Armazenamento do S3 é um filtro personalizado definido para objetos com base em prefixos, sufixos, tags de objeto, tamanho do objeto, idade do objeto ou uma combinação desses filtros.

Você pode usar grupos da Lente de Armazenamento do S3 para obter visibilidade granular de grandes buckets compartilhados, como data lakes, para tomar decisões de negócios mais bem informadas. Por exemplo, você pode simplificar a alocação de armazenamento e otimizar os relatórios de custos dividindo o uso do armazenamento em grupos específicos de objetos para projetos individuais e centros de custo dentro de um bucket ou em vários buckets.

Para usar grupos da Lente de Armazenamento do S3, você deve atualizar o painel para usar métricas e recomendações avançadas. Para obter mais informações sobre grupos de Lente de Armazenamento do S3, consulte Trabalhar com grupos da Lente de Armazenamento do S3 para filtrar e agregar métricas.