Creación de un panel de Lente de almacenamiento de Amazon S3
Puede crear paneles personalizados de Lente de almacenamiento de S3 adicionales que pueden abarcar a la organización en AWS Organizations o a Regiones de AWS específicas o buckets dentro de una cuenta.
nota
Las actualizaciones en la configuración del panel pueden tardar hasta 48 horas en mostrarse o visualizarse con precisión.
Siga los pasos que figuran a continuación para crear un panel de Amazon S3 Storage Lens en la consola de Amazon S3.
Paso 1: definir el alcance del panel
Inicie sesión AWS Management Console Management Console y abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/
. -
En la barra de navegación de la parte superior de la página, elija el nombre de la región de AWS que aparece. A continuación, elija la región a la que desea cambiar.
-
En el panel de navegación, en Lente de almacenamiento de S3, elija Paneles.
-
Elija Create dashboard (Crear un panel).
-
En la página Dashboard (Panel), en la sección General, haga lo siguiente:
-
Vea la región de origen del panel. La región de origen es la Región de AWS donde se almacenan la configuración y las métricas de este Almacenamiento de lente.
-
Escriba un nombre de panel.
Los nombres de los paneles deben tener menos de 65 caracteres y no deben contener caracteres ni espacios especiales.
nota
No puede cambiar el nombre de este panel una vez que se creado.
-
Si lo desea, puede agregar etiquetas al panel. Puede usar etiquetas para administrar los permisos de su panel y realizar un seguimiento de los costos de S3 Storage Lens.
Para obtener más información, consulte Control del acceso mediante etiquetas de recursos en la Guía del usuario de IAM y Etiquetas de asignación de costos generadas por AWS en la Guía del usuario de AWS Billing.
nota
Puede agregar hasta 50 etiquetas a la configuración del panel.
-
-
En la sección Dashboard scope(Alcance del panel), haga lo siguiente:
-
Elija las regiones y los buckets que desea que S3 Storage Lens incluya o excluya en el panel.
-
Elija los buckets en las regiones seleccionadas que desea que S3 Storage Lens incluya o excluya. Puede incluir o excluir buckets, pero no ambos. Esta opción no está disponible cuando se crean paneles de nivel de organización.
nota
-
Puede incluir o excluir regiones y buckets. Esta opción está limitada a las regiones solo cuando se crean paneles de nivel de organización en las cuentas de miembros de su organización.
-
Puede elegir hasta 50 buckets para incluir o excluir.
-
Paso 2: configurar la selección de métricas
-
En la sección Metrics selection (Selección de Métricas), elija el tipo de métricas que desea agregar a este panel.
-
Para incluir métricas gratuitas agregadas en el nivel de bucket y disponibles para consultas durante 14 días, elija Free Metrics (Métricas gratuitas).
-
Para habilitar las métricas avanzadas y otras opciones avanzadas, elija Advanced metrics and recommendations (Métricas y recomendaciones avanzadas). Estas opciones incluyen la agregación de prefijos, la publicación en Amazon CloudWatch y las recomendaciones contextuales avanzadas. Los datos están disponibles para consultas durante 15 meses. Las métricas y recomendaciones avanzadas tienen un costo adicional. Para obtener más información, consulte precios de Amazon S3
. Para obtener más información sobre las métricas avanzadas y gratuitas, consulte Selección de métricas.
-
-
En Advanced metrics and recommendations features (Características de métricas y recomendaciones avanzadas), seleccione las opciones que desea habilitar:
-
Advanced metrics (Métricas avanzadas)
-
Publicación de CloudWatch
-
Agregación de prefijos
importante
Si habilita la agregación de prefijos para la configuración de S3 Storage Lens, las métricas de nivel de prefijo no se publicarán en CloudWatch. En CloudWatch, solo se publican métricas de S3 Storage Lens a nivel de bucket, cuenta y organización.
-
-
Si ha habilitado Advanced metrics (Métricas avanzadas), seleccione las Advanced metrics categories (Categorías de métricas avanzadas) que desea mostrar en el panel de Lente de almacenamiento de S3:
-
Métricas de actividad
-
Detailed status code metrics (Métricas de código de estado detalladas)
-
Advanced cost optimization metrics (Métricas de optimización de costos avanzadas)
-
Advanced data protection metrics (Métricas de protección de datos avanzadas)
Para obtener más información sobre categorías de métricas, consulte Categorías de métricas. Para obtener una lista completa de métricas, consulte Glosario de métricas de Amazon S3 Storage Lens.
-
-
Si eligió habilitar la agregación de prefijos, configure lo siguiente:
-
Elija el tamaño mínimo de umbral de prefijo para este panel.
Por ejemplo, un umbral de prefijo del 5 por ciento indica que se agregarán los prefijos que componen el 5 por ciento o más del tamaño del almacenamiento total del bucket.
-
Elija la profundidad del prefijo.
Esta configuración indica el número máximo de niveles hasta los que se evalúan los prefijos. La profundidad del prefijo debe ser inferior a 10.
-
Escriba un carácter delimitador de prefijo.
Este valor se utiliza para identificar cada nivel de prefijo. El valor predeterminado de Amazon S3 es el carácter
/
, pero su estructura de almacenamiento podría utilizar otros caracteres delimitadores.
-
(Opcional) Paso 3: exportar métricas para el panel
-
En la sección Metrics Export (Exportación de métricas), para crear una exportación de métricas que se colocará diariamente en un bucket de destino de su elección, elija Enable (Habilitar).
La exportación de métricas está en formato CSV o Apache Parquet. Representa el mismo alcance de datos que los datos del panel de S3 Storage Lens sin las recomendaciones.
-
Si ha habilitado la exportación de métricas, elija el formato de salida de la exportación diaria de métricas: CSV o Apache Parquet.
Parquet es un formato de archivo de código abierto para Hadoop que almacena los datos anidados en un formato de columna plano.
-
Elija el bucket de S3 de destino para la exportación de métricas.
Puede elegir un bucket en la cuenta actual del panel S3 Storage Lens. También puede elegir otra Cuenta de AWS si tiene los permisos del bucket de destino y el ID de la cuenta del propietario del bucket de destino.
-
Elija el bucket de S3 de destino (formato:
s3://
).bucket-name
/prefix
El bucket debe estar en la región de inicio del panel de Lente de almacenamiento de S3. La consola de S3 le muestra el Destination bucket permission (Permiso del bucket de destino) que agregará Amazon S3 a la política de bucket de destino. Amazon S3 actualiza la política de bucket en el bucket de destino para permitir que S3 coloque datos en ese bucket.
-
(Opcional) Para habilitar el cifrado del lado del servidor para la exportación de métricas, elija Specify an encryption key (Especificar una clave de cifrado). A continuación, elija el tipo de cifrado: Claves administradas de Amazon S3 (SSE-S3) o Clave de AWS Key Management Service (SSE-KMS).
Puede elegir entre una clave administrada de Amazon S3 (SSE-S3) y una clave de AWS Key Management Service (AWS KMS) (SSE-KMS).
-
(Opcional) Para especificar una clave de AWS KMS, debe elegir una clave KMS o ingresar un nombre de recurso de Amazon (ARN) de clave.
Si elige una clave administrada por el cliente, debe conceder permiso a Lente de almacenamiento de S3 para cifrar la política de claves de AWS KMS. Para obtener más información, consulte Uso de una AWS KMS key para cifrar las exportaciones de métricas.
-
Elija Create dashboard (Crear un panel).
En el siguiente comando de ejemplo, se crea una configuración de Lente de almacenamiento de Amazon S3 con etiquetas. Para utilizar estos ejemplos, sustituya
por su propia información.user input placeholders
aws s3control put-storage-lens-configuration --account-id=
111122223333
--config-id=example-dashboard-configuration-id
--region=us-east-1
--storage-lens-configuration=file://./config.json
--tags=file://./tags.json
En el siguiente comando de ejemplo, se crea una configuración de Lente de almacenamiento de Amazon S3 sin etiquetas. Para utilizar estos ejemplos, sustituya
por su propia información.user input placeholders
aws s3control put-storage-lens-configuration --account-id=
222222222222
--config-id=your-configuration-id
--region=us-east-1
--storage-lens-configuration=file://./config.json
ejemplo – Creación y actualización de una configuración de Lente de almacenamiento de Amazon S3
El siguiente ejemplo crea y actualiza una configuración de Lente de almacenamiento de Amazon S3 en SDK para Java:
package aws.example.s3control; import com.amazonaws.AmazonServiceException; import com.amazonaws.SdkClientException; import com.amazonaws.auth.profile.ProfileCredentialsProvider; import com.amazonaws.services.s3control.AWSS3Control; import com.amazonaws.services.s3control.AWSS3ControlClient; import com.amazonaws.services.s3control.model.AccountLevel; import com.amazonaws.services.s3control.model.ActivityMetrics; import com.amazonaws.services.s3control.model.BucketLevel; import com.amazonaws.services.s3control.model.CloudWatchMetrics; import com.amazonaws.services.s3control.model.Format; import com.amazonaws.services.s3control.model.Include; import com.amazonaws.services.s3control.model.OutputSchemaVersion; import com.amazonaws.services.s3control.model.PrefixLevel; import com.amazonaws.services.s3control.model.PrefixLevelStorageMetrics; import com.amazonaws.services.s3control.model.PutStorageLensConfigurationRequest; import com.amazonaws.services.s3control.model.S3BucketDestination; import com.amazonaws.services.s3control.model.SSES3; import com.amazonaws.services.s3control.model.SelectionCriteria; import com.amazonaws.services.s3control.model.StorageLensAwsOrg; import com.amazonaws.services.s3control.model.StorageLensConfiguration; import com.amazonaws.services.s3control.model.StorageLensDataExport; import com.amazonaws.services.s3control.model.StorageLensDataExportEncryption; import com.amazonaws.services.s3control.model.StorageLensTag; import java.util.Arrays; import java.util.List; import static com.amazonaws.regions.Regions.
US_WEST_2
; public class CreateAndUpdateDashboard { public static void main(String[] args) { String configurationId = "ConfigurationId
"; String sourceAccountId = "111122223333
"; String exportAccountId = "Destination Account ID
"; String exportBucketArn = "arn:aws:s3:::destBucketName
"; // The destination bucket for your metrics export must be in the same Region as your S3 Storage Lens configuration. String awsOrgARN = "arn:aws:organizations::123456789012
:organization/o-abcdefgh
"; Format exportFormat = Format.CSV; try { SelectionCriteria selectionCriteria = new SelectionCriteria() .withDelimiter("/
") .withMaxDepth(5
) .withMinStorageBytesPercentage(10.0
); PrefixLevelStorageMetrics prefixStorageMetrics = new PrefixLevelStorageMetrics() .withIsEnabled(true
) .withSelectionCriteria(selectionCriteria); BucketLevel bucketLevel = new BucketLevel() .withActivityMetrics(new ActivityMetrics().withIsEnabled(true
)) .withAdvancedCostOptimizationMetrics(new AdvancedCostOptimizationMetrics().withIsEnabled(true
)) .withAdvancedDataProtectionMetrics(new AdvancedDataProtectionMetrics().withIsEnabled(true
)) .withDetailedStatusCodesMetrics(new DetailedStatusCodesMetrics().withIsEnabled(true
)) .withPrefixLevel(new PrefixLevel().withStorageMetrics(prefixStorageMetrics)); AccountLevel accountLevel = new AccountLevel() .withActivityMetrics(new ActivityMetrics().withIsEnabled(true
)) .withAdvancedCostOptimizationMetrics(new AdvancedCostOptimizationMetrics().withIsEnabled(true
)) .withAdvancedDataProtectionMetrics(new AdvancedDataProtectionMetrics().withIsEnabled(true
)) .withDetailedStatusCodesMetrics(new DetailedStatusCodesMetrics().withIsEnabled(true
)) .withBucketLevel(bucketLevel); Include include = new Include() .withBuckets(Arrays.asList("arn:aws:s3:::bucketName
")) .withRegions(Arrays.asList("us-west-2
")); StorageLensDataExportEncryption exportEncryption = new StorageLensDataExportEncryption() .withSSES3(new SSES3()); S3BucketDestination s3BucketDestination = new S3BucketDestination() .withAccountId(exportAccountId) .withArn(exportBucketArn) .withEncryption(exportEncryption) .withFormat(exportFormat) .withOutputSchemaVersion(OutputSchemaVersion.V_1) .withPrefix("Prefix"); CloudWatchMetrics cloudWatchMetrics = new CloudWatchMetrics() .withIsEnabled(true
); StorageLensDataExport dataExport = new StorageLensDataExport() .withCloudWatchMetrics(cloudWatchMetrics) .withS3BucketDestination(s3BucketDestination); StorageLensAwsOrg awsOrg = new StorageLensAwsOrg() .withArn(awsOrgARN
); StorageLensConfiguration configuration = new StorageLensConfiguration() .withId(configurationId) .withAccountLevel(accountLevel) .withInclude(include) .withDataExport(dataExport) .withAwsOrg(awsOrg) .withIsEnabled(true
); List<StorageLensTag> tags = Arrays.asList( new StorageLensTag().withKey("key-1
").withValue("value-1
"), new StorageLensTag().withKey("key-2
").withValue("value-2
") ); AWSS3Control s3ControlClient = AWSS3ControlClient.builder() .withCredentials(new ProfileCredentialsProvider()) .withRegion(US_WEST_2
) .build(); s3ControlClient.putStorageLensConfiguration(new PutStorageLensConfigurationRequest() .withAccountId(sourceAccountId) .withConfigId(configurationId) .withStorageLensConfiguration(configuration) .withTags(tags) ); } catch (AmazonServiceException e) { // The call was transmitted successfully, but Amazon S3 couldn't process // it and returned an error response. e.printStackTrace(); } catch (SdkClientException e) { // Amazon S3 couldn't be contacted for a response, or the client // couldn't parse the response from Amazon S3. e.printStackTrace(); } } }
Para lograr una mayor visibilidad de su almacenamiento, puede crear uno o más grupos de S3 Lente de almacenamiento y asociarlos a su panel. Un grupo de S3 Lente de almacenamiento es un filtro definido y personalizado para objetos basado en prefijos, sufijos, etiquetas de objetos, tamaño de objetos, antigüedad de objetos o una combinación de estos filtros.
Puede usar los grupos de S3 Lente de almacenamiento para obtener una visibilidad pormenorizada de grandes buckets compartidos, como los lagos de datos, con el fin de tomar decisiones empresariales mejor fundamentadas. Por ejemplo, puede agilizar la asignación del almacenamiento y optimizar los informes de costes dividiendo el uso del almacenamiento en grupos de objetos específicos para proyectos individuales y centros de costes dentro de un mismo bucket o en varios buckets.
Para usar grupos de S3 Lente de almacenamiento, debe actualizar su panel para usar métricas y recomendaciones avanzadas. Para obtener más información acerca de los grupos de S3 Storage Lens, consulte Trabajo con grupos de Lente de almacenamiento de S3 para filtrar y agregar métricas.