Archiviazione dei dati esportati in Amazon S3

Amazon Monitron fornisce un AWS CloudFormation modello predefinito per aiutare a configurare rapidamente Firehose per fornire dati da un flusso di dati Kinesis al bucket Amazon S3. Questo modello consente il partizionamento dinamico e gli oggetti Amazon S3 consegnati utilizzeranno il seguente formato di chiave consigliato da Amazon Monitron: /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

1. Accedi al tuo account. AWS

2. Apri una nuova scheda del browser con il seguente URL:

   https://console.aws.amazon.com/cloudformation/home?region=us-east-1#/stacks/create/review?templateURL=https://s3.us-east-1.amazonaws.com/monitron-cloudformation-templates-us-east-1/monitron_kinesis_data_export.yaml&stackName=monitron-kinesis-live-data-export

3. Nella CloudFormation pagina che si apre, nell'angolo in alto a destra, seleziona la regione in cui stai utilizzando Amazon Monitron.

4. Per impostazione predefinita, il modello creerà un nuovo flusso di dati Kinesis e un nuovo bucket S3 insieme ad altre risorse necessarie per fornire dati ad Amazon S3. È possibile modificare i parametri per utilizzare le risorse esistenti.

5. Seleziona la casella che dice Riconosco che AWS CloudFormation potrebbe creare risorse IAM.

6. Seleziona Crea stack.

7. Nella pagina successiva, scegli l'icona di aggiornamento tutte le volte che vuoi finché lo stato dello stack non è CREATE_COMPLETE.

1. Accedere alla console di AWS gestione e aprire la console Kinesis all'indirizzo https://console.aws.amazon.com/kinesis.

2. Scegliete Delivery stream nel pannello di navigazione.

3. Selezionare Create delivery stream (Crea flusso di distribuzione).

4. Per Source, seleziona Amazon Kinesis Data Streams.

5. Per Destinazione, seleziona Amazon S3.

6. In Impostazioni sorgente, Kinesis data stream, inserisci l'ARN del tuo flusso di dati Kinesis.

7. In Delivery Stream name, inserisci il nome del tuo flusso di dati Kinesis.

8. Nelle impostazioni di destinazione, scegli un bucket Amazon S3 o inserisci un URI del bucket.

9. (opzionale) Abilita il partizionamento dinamico utilizzando l'analisi in linea per JSON. Questa opzione è appropriata se si desidera partizionare i dati di misurazione dello streaming in base alle informazioni sulla fonte e al timestamp. Ad esempio:

   • Scegliete Abilitato per il partizionamento dinamico.

   • Scegliete Abilitato per Nuovo delimitatore di riga.

   • Scegliete Abilitato per l'analisi in linea per JSON.

   • In Chiavi di partizionamento dinamiche, aggiungi:

     Nome chiave	Espressione JQ
     project	.project DisplayName | «project=\ (.)»
     site	.site DisplayName | «site=\ (.)»
     time	.timestamp| sub («[0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $»; "00:00:00 «) | «time=\ (.)»

10. Scegli Applica chiavi di partizionamento dinamico e conferma che il prefisso del bucket Amazon S3 generato sia. !{partitionKeyFromQuery:project}/!{partitionKeyFromQuery:site}/!{partitionKeyFromQuery:time}/

11. In Amazon S3, gli oggetti utilizzeranno il seguente formato di chiave:. /project={projectName}/site={siteName}/time={yyyy-mm-dd 00:00:00}/{filename}

12. Selezionare Create delivery stream (Crea flusso di distribuzione).

13. (opzionale) Utilizza un percorso più granulare.

    Se hai scelto una partizione dinamica, utilizza il formato chiave Amazon S3 precedente se intendi utilizzare AWS Glue e Athena per interrogare i dati. Puoi anche scegliere un formato di chiave più preciso, ma la query su Amazon Athena non sarà efficiente. Ecco un esempio di configurazione di un percorso chiave Amazon S3 più preciso.

    In Chiavi di partizionamento dinamiche, aggiungi:

    Nome chiave	Espressione JQ
    project	.project DisplayName | «project=\ (.)»
    site	.site DisplayName | «site=\ (.)»
    asset	.asset DisplayName | «asset=\ (.)»
    position	.sensor PositionDisplayName | «posizione=\ (.)»
    sensore	.sensor.physicalId | «sensor=\ (.)»
    data	.timestamp| sub (» [0-9] {2}: [0-9] {2}: [0-9] {2}. [0-9] {3} $»; «») | «data=\ (.)»

    In Amazon S3, gli oggetti utilizzeranno il seguente formato di chiave: /project={projectName}/site={siteName}/asset={assetName}/position={positionName}/sensor={sensorId}/date={yyyy-mm-dd}/time={HH:MM:SS}/{filename}