View a markdown version of this page

Creazione di un data lake SDK Amazon Chime - SDK Amazon Chime
PrerequisitiTerminologia e concetti del data lakeCreazione di più data lakeDisponibilità regionale del data lakeArchitettura del data lakeConfigurazione del data lake

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un data lake SDK Amazon Chime

Il data lake di analisi delle chiamate dell'SDK Amazon Chime ti consente di trasmettere in streaming le tue informazioni basate sull'apprendimento automatico e tutti i metadati da Amazon Kinesis Data Stream al tuo bucket Amazon S3. Ad esempio, utilizzando il data lake per accedere agli URL delle registrazioni. Per creare il data lake, distribuisci un set di AWS CloudFormation modelli dalla console Amazon Chime SDK o a livello di codice utilizzando il. AWS CLI Il data lake consente di interrogare i metadati delle chiamate e i dati di analisi vocale facendo riferimento AWS alle tabelle di dati Glue in Amazon Athena.

Prerequisiti

È necessario disporre dei seguenti elementi per creare un lago SDK Amazon Chime:

Terminologia e concetti del data lake

Usa i seguenti termini e concetti per capire come funziona il data lake.

Amazon Kinesis Data Firehose

Un servizio ETL (Extract, Transform and Load) che acquisisce, trasforma e fornisce in modo affidabile dati in streaming a data lake, data store e servizi di analisi. Per ulteriori informazioni, consulta Cos'è Amazon Kinesis Data Firehose?

Amazon Athena

Amazon Athena è un servizio di query interattivo che consente di analizzare i dati in Amazon S3 utilizzando SQL standard. Athena è serverless, quindi non hai un'infrastruttura da gestire e paghi solo per le query eseguite. Per usare Athena, punta ai tuoi dati in Amazon S3, definisci lo schema e utilizza query SQL standard. Puoi anche utilizzare i gruppi di lavoro per raggruppare gli utenti e controllare le risorse a cui hanno accesso durante l'esecuzione delle query. I gruppi di lavoro consentono di gestire la concorrenza delle query e di assegnare priorità all'esecuzione delle query tra diversi gruppi di utenti e carichi di lavoro.

Catalogo dati Glue

In Amazon Athena, tabelle e database contengono i metadati che descrivono uno schema per i dati di origine sottostanti. Per ogni set di dati, deve esistere una tabella in Athena. I metadati nella tabella indicano ad Athena la posizione del bucket Amazon S3. Specifica inoltre la struttura dei dati, ad esempio i nomi delle colonne, i tipi di dati e il nome della tabella. I database contengono solo i metadati e le informazioni sullo schema per un set di dati.

Creazione di più data lake

È possibile creare più data lake fornendo un nome di database Glue univoco per specificare dove archiviare le informazioni sulle chiamate. Per un determinato AWS account, possono esserci diverse configurazioni di analisi delle chiamate, ognuna con un data lake corrispondente. Ciò significa che la separazione dei dati può essere applicata per determinati casi d'uso, come la personalizzazione della politica di conservazione e della politica di accesso sulla modalità di archiviazione dei dati. Possono essere applicate diverse politiche di sicurezza per l'accesso a informazioni, registrazioni e metadati.

Disponibilità regionale del data lake

Il data lake Amazon Chime SDK è disponibile nelle seguenti regioni.

Region

Tabella Glue

di base

us-east-1

Disponibilità

Disponibilità

us-west-2

Disponibilità

Disponibilità

eu-central-1

Disponibilità

Disponibilità

Architettura del data lake

Il diagramma seguente mostra l'architettura del data lake. I numeri nel disegno corrispondono al testo numerato riportato di seguito.

Il programma scorre attraverso un data lake.

Nel diagramma, una volta utilizzata la AWS console per distribuire il CloudFormation modello dal flusso di lavoro di configurazione della pipeline di Media Insights, i seguenti dati fluiscono nel bucket Amazon S3:

  1. L'analisi delle chiamate dell'SDK Amazon Chime avvierà lo streaming di dati in tempo reale verso Kinesis Data Stream del cliente.

  2. Amazon Kinesis Firehose memorizza questi dati in tempo reale fino ad accumulare 128 MB o 60 secondi, a seconda di quale evento si verifica per primo. Firehose utilizza quindi il amazon_chime_sdk_call_analytics_firehose_schema catalogo dati di Glue per comprimere i dati e trasforma i record JSON in un file parquet.

  3. Il file parquet si trova nel tuo bucket Amazon S3, in un formato partizionato.

  4. Oltre ai dati in tempo reale, al tuo Amazon S3 Bucket vengono inviati anche i file .wav di riepilogo delle chiamate di Amazon Transcribe Call Analytics (redatti e non oscurati, se specificato nella configurazione) e i file .wav di registrazione delle chiamate.

  5. Puoi utilizzare Amazon Athena e SQL standard per interrogare i dati nel bucket Amazon S3.

  6. Il CloudFormation modello crea anche un Glue Data Catalog per interrogare questi dati di riepilogo post-chiamata tramite Athena.

  7. Tutti i dati sul bucket Amazon S3 possono essere visualizzati anche utilizzando Quick. QuickSight crea una connessione con un bucket Amazon S3 utilizzando Amazon Athena.

La tabella Amazon Athena utilizza le seguenti funzionalità per ottimizzare le prestazioni delle query:

Partizionamento dei dati

Il partizionamento divide la tabella in parti e mantiene insieme i dati correlati in base ai valori delle colonne come data, paese e regione. Le partizioni agiscono come colonne virtuali. In questo caso, il CloudFormation modello definisce le partizioni al momento della creazione della tabella, il che aiuta a ridurre la quantità di dati scansionati per query e migliora le prestazioni. È inoltre possibile filtrare per partizione per limitare la quantità di dati scansionati da una query. Per ulteriori informazioni, consulta la sezione Partizionamento dei dati in Athena nella Amazon Athena User Guide.

Questo esempio mostra la struttura di partizionamento con una data del 1 gennaio 2023:

  1. s3://example-bucket/amazon_chime_sdk_data_lake
                            /serviceType=CallAnalytics/detailType={DETAIL_TYPE}/year=2023
                            /month=01/day=01/example-file.parquet

  2. dove DETAIL_TYPE è una delle seguenti:

    1. CallAnalyticsMetadata

    2. TranscribeCallAnalytics

    3. TranscribeCallAnalyticsCategoryEvents

    4. Transcribe

    5. Recording

    6. VoiceAnalyticsStatus

    7. SpeakerSearchStatus

    8. VoiceToneAnalysisStatus

Ottimizza la generazione di data store a colonne

Apache Parquet utilizza la compressione per colonne, la compressione basata sul tipo di dati e il pushdown dei predicati per archiviare i dati. Rapporti di compressione migliori o saltare blocchi di dati significa leggere meno byte dal tuo bucket Amazon S3. Ciò porta a migliori prestazioni delle query e a costi ridotti. Per questa ottimizzazione, la conversione dei dati da JSON a parquet è abilitata in Amazon Kinesis Data Firehose.

Proiezione delle partizioni

Questa funzionalità di Athena crea automaticamente partizioni per ogni giorno per migliorare le prestazioni delle query basate sulla data.

Configurazione del data lake

Usa la console Amazon Chime SDK per completare i seguenti passaggi.

  1. Avvia la console Amazon Chime SDK (https://console.aws.amazon.com/chime-sdk/home) e nel pannello di navigazione, in Call Analytics, scegli Configurazioni.

  2. Completa il passaggio 1, scegli Avanti e nella pagina Passaggio 2, seleziona la casella di controllo Voice Analytics.

  3. In Dettagli di output, seleziona la casella di controllo Data warehouse per eseguire l'analisi storica, quindi scegli il link Deploy CloudFormation stack.

    Il sistema ti invia alla pagina Quick create stack nella CloudFormation console.

  4. Inserisci un nome per lo stack, quindi inserisci i seguenti parametri:

    1. DataLakeType— Scegli Crea analisi delle chiamate DataLake.

    2. KinesisDataStreamName— Scegli il tuo stream. Dovrebbe essere lo stream utilizzato per lo streaming dell'analisi delle chiamate.

    3. S3BucketURI— Scegli il tuo bucket Amazon S3. L'URI deve avere il prefisso s3://bucket-name

    4. GlueDatabaseName— Scegli un nome univoco per il database AWS Glue. Non è possibile riutilizzare un database esistente nell' AWS account.

  5. Scegli la casella di controllo di conferma, quindi scegli Crea data lake. Attendi 10 minuti affinché il sistema crei il lago.

Configurazione del data lake utilizzando AWS CLI

AWS CLI Da utilizzare per creare un ruolo con i permessi per chiamare lo stack CloudFormation di creazione. Segui la procedura seguente per creare e configurare i ruoli IAM. Per ulteriori informazioni, consulta Creazione di uno stack nella Guida AWS CloudFormation per l'utente.

  1. Crea un ruolo chiamato AmazonChimeSdkCallAnalytics-Datalake-Provisioning-Role e allega una politica di fiducia al ruolo che CloudFormation consenta di assumere il ruolo.

    1. Crea una policy di fiducia IAM utilizzando il seguente modello e salva il file in formato .json.

      JSON
      {
    "Version":"2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "cloudformation.amazonaws.com"
            },
            "Action": "sts:AssumeRole",
            "Condition": {}
        }
    ]
}

    2. Esegui il aws iam create-role comando e passa la policy di fiducia come parametro.

      
                                    aws iam create-role \
    --role-name AmazonChimeSdkCallAnalytics-Datalake-Provisioning-Role
    --assume-role-policy-document file://role-trust-policy.json

    3. Annota l'arn del ruolo restituito dalla risposta. il ruolo arn è obbligatorio nel passaggio successivo.

  2. Crea una policy con il permesso di creare uno CloudFormation stack.

    1. Crea una policy IAM utilizzando il seguente modello e salva il file in formato .json. Questo file è necessario quando si chiama create-policy.

      JSON
      {  
    "Version":"2012-10-17",  
    "Statement": [  
        {  
            "Sid": "DeployCloudFormationStack",  
            "Effect": "Allow",  
            "Action": [  
                "cloudformation:CreateStack"
            ],
            "Resource": "*"
        }
    ]
}

    2. Esegui aws iam create-policy e passa la policy di creazione dello stack come parametro.

      
                                aws iam create-policy --policy-name testCreateStackPolicy 
--policy-document file://create-cloudformation-stack-policy.json

    3. Annota l'arn del ruolo restituito dalla risposta. il ruolo arn è obbligatorio nel passaggio successivo.

  3. Collegare la policy aws iam attach-role-policy al ruolo.

    
                            aws iam attach-role-policy --role-name {Role name created above}
--policy-arn {Policy ARN created above}

  4. Crea uno CloudFormation stack e inserisci i parametri richiesti:aws cloudformation create-stack.

    Fornisci i valori dei parametri per ogni ParameterKey utilizzo ParameterValue.

    
                            aws cloudformation create-stack  --capabilities CAPABILITY_NAMED_IAM 
--stack-name testDeploymentStack 
--template-url https://chime-sdk-assets.s3.amazonaws.com/public_templates/AmazonChimeSDKDataLake.yaml 
--parameters  ParameterKey=S3BucketURI,ParameterValue={S3 URI}
ParameterKey=DataLakeType,ParameterValue="Create call analytics datalake" 
ParameterKey=KinesisDataStreamName,ParameterValue={Name of Kinesis Data Stream}
--role-arn {Role ARN created above}

Risorse create dalla configurazione del data lake

La tabella seguente elenca le risorse create durante la creazione di un data lake.

Tipo di risorsa

Nome e descrizione della risorsa

Nome del servizio

Database AWS Glue Data Catalog

GlueDatabaseName— Raggruppa logicamente tutte le tabelle di dati di AWS Glue appartenenti alle informazioni sulle chiamate e all'analisi vocale.

Analisi delle chiamate, analisi vocale

Tabelle del catalogo dati di AWS Glue

amazon_chime_sdk_call_analytics_firehose_schema — Schema combinato per l'analisi delle chiamate e l'analisi vocale che viene inviato a Kinesis Firehose.

Analisi delle chiamate, analisi vocale

call_analytics_metadata — Schema per i metadati di analisi delle chiamate. Contiene SIPMetadata e OneTimeMetadata.

Analisi delle chiamate
call_analytics_recording_metadata — Schema per i metadati di registrazione e miglioramento vocale Analisi delle chiamate, analisi vocale

transcribe_call_analytics — Schema per il payload «UtteranceEvent» TranscribeCallAnalytics

Analisi delle chiamate

transcribe_call_analytics_category_events — Schema per il payload «CategoryEvent» TranscribeCallAnalytics

Analisi delle chiamate

transcribe_call_analytics_post_call — Schema per il payload riassuntivo di Post Call Transcribe Call Analytics

Analisi delle chiamate

transcribe — Schema per Transcribe Payload

Analisi delle chiamate

voice_analytics_status — Schema per eventi pronti per l'analisi vocale

Analisi vocale

speaker_search_status — Schema per le corrispondenze di identificazione

Analisi vocale

voice_tone_analysis_status — Schema per gli eventi di analisi del tono vocale

Analisi vocale

Amazon Kinesis Data Firehose

AmazonChimeSDK-call-analytics- UUID — Dati sulle tubazioni Kinesis Data Firehose per l'analisi delle chiamate

Analisi delle chiamate, analisi vocale

Gruppo di lavoro Amazon Athena

GlueDatabaseName-AmazonChimeSDKDataAnalytics— Gruppo logico di utenti per controllare le risorse a cui hanno accesso durante l'esecuzione delle query.

Analisi delle chiamate, analisi vocale