¿Qué es un manifiesto de exportación de S3 Storage Lens? - Amazon Simple Storage Service

¿Qué es un manifiesto de exportación de S3 Storage Lens?

Dada la gran cantidad de datos agregados, una exportación diaria de métricas de S3 Storage Lens se puede dividir en varios archivos. El archivo de manifiesto manifest.json describe dónde se encuentran los archivos de exportación de métricas para ese día. Cada vez que se entrega una exportación nueva, se acompaña con un manifiesto nuevo. Cada manifiesto incluido en el archivo manifest.json proporciona metadatos y otra información básica sobre la exportación.

La información del manifiesto incluye las siguientes propiedades:

  • sourceAccountId – El ID de cuenta del propietario de la configuración.

  • configId – Un identificador único para el panel.

  • destinationBucket – El nombre de recurso de Amazon (ARN) del bucket de destino en el que se coloca la exportación de métricas.

  • reportVersion – La versión de la exportación.

  • reportDate – La fecha del informe.

  • reportFormat – El formato del informe.

  • reportSchema – El esquema del informe.

  • reportFiles – La lista real de los archivos de informe de exportación que se encuentran en el bucket de destino.

A continuación se incluye un ejemplo de un manifiesto en un archivo manifest.json para una exportación con formato CSV.

{
   "sourceAccountId":"123456789012",
   "configId":"my-dashboard-configuration-id",
   "destinationBucket":"arn:aws:s3:::amzn-s3-demo-destination-bucket",
   "reportVersion":"V_1",
   "reportDate":"2020-11-03",
   "reportFormat":"CSV",
   "reportSchema":"version_number,configuration_id,report_date,aws_account_number,aws_region,storage_class,record_type,record_value,bucket_name,metric_name,metric_value",
   "reportFiles":[
        {
            "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/a38f6bc4-2e3d-4355-ac8a-e2fdcf3de158.csv",
            "size":1603959,
            "md5Checksum":"2177e775870def72b8d84febe1ad3574"
        }
      ]
}

A continuación se incluye un ejemplo de un manifiesto en un archivo manifest.json para una exportación con formato Parquet.

{
   "sourceAccountId":"123456789012",
   "configId":"my-dashboard-configuration-id",
   "destinationBucket":"arn:aws:s3:::amzn-s3-demo-destination-bucket",
   "reportVersion":"V_1",
   "reportDate":"2020-11-03",
   "reportFormat":"Parquet",
   "reportSchema":"message s3.storage.lens { required string version_number; required string configuration_id; required string report_date; required string aws_account_number; required string aws_region; required string storage_class; required string record_type; required string record_value; required string bucket_name; required string metric_name; required long metric_value; }",
   "reportFiles":[
      {
         "key":"DestinationPrefix/StorageLens/123456789012/my-dashboard-configuration-id/V_1/reports/dt=2020-11-03/bd23de7c-b46a-4cf4-bcc5-b21aac5be0f5.par",
         "size":14714,
         "md5Checksum":"b5c741ee0251cd99b90b3e8eff50b944"
      }
}

Puede configurar la exportación de métricas para que se genere como parte de la configuración del panel en la consola de Amazon S3 o mediante el uso de la API de REST de Amazon S3, la AWS CLI y los SDK.