Connettore Amazon Athena Metrics CloudWatch - Amazon Athena

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettore Amazon Athena Metrics CloudWatch

Il connettore Amazon Athena CloudWatch Metrics consente ad Amazon Athena di eseguire query sui dati di Metrics. CloudWatch SQL

Questo connettore non utilizza Glue Connections per centralizzare le proprietà di configurazione in Glue. La configurazione della connessione viene effettuata tramite Lambda.

Per informazioni sulla pubblicazione delle metriche delle query CloudWatch da Athena stessa, consulta. Utilizza CloudWatch e monitora EventBridge le interrogazioni e controlla i costi

Prerequisiti

Parametri

Utilizza i parametri in questa sezione per configurare il connettore CloudWatch Metrics.

  • spill_bucket: specifica il bucket Amazon S3 per i dati che superano i limiti della funzione Lambda.

  • spill_prefix: (facoltativo) per impostazione predefinita, viene utilizzata una sottocartella nello spill_bucket specificato chiamata athena-federation-spill. Ti consigliamo di configurare un ciclo di vita dell'archiviazione di Amazon S3 in questa posizione per eliminare gli spill più vecchi di un numero predeterminato di giorni o ore.

  • spill_put_request_headers — (Facoltativo) Una mappa JSON codificata delle intestazioni e dei valori delle richieste per la richiesta Amazon S3 utilizzata per lo spilling (ad esempio,). putObject {"x-amz-server-side-encryption" : "AES256"} Per altre possibili intestazioni, consulta PutObjectAmazon Simple Storage Service API Reference.

  • kms_key_id — (Facoltativo) Per impostazione predefinita, tutti i dati trasferiti su Amazon S3 vengono crittografati utilizzando la modalità di crittografia autenticata e una chiave generata AES GCM casualmente. Per fare in modo che la funzione Lambda utilizzi chiavi di crittografia più potenti generate da KMS likea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, puoi specificare un ID di KMS chiave.

  • disable_spill_encryption: (facoltativo) se impostato su True, disabilita la crittografia dello spill. L'impostazione predefinita è False che i dati trasferiti su S3 vengano crittografati utilizzando AES GCM -, utilizzando una chiave generata casualmente o per generare chiavi. KMS La disabilitazione della crittografia dello spill può migliorare le prestazioni, soprattutto se la posizione dello spill utilizza la crittografia lato server.

Il connettore supporta anche il controllo della AIMD congestione per la gestione degli eventi di limitazione CloudWatch tramite il costrutto Amazon Athena Query Federation. SDK ThrottlingInvoker Puoi modificare il comportamento di limitazione predefinito impostando una delle seguenti variabili di ambiente facoltative:

  • throttle_initial_delay_ms: il ritardo iniziale della chiamata applicato dopo il primo evento di congestione. Il valore predefinito è 10 millisecondi.

  • throttle_max_delay_ms: il ritardo massimo tra le chiamate. Puoi TPS derivarlo dividendolo in 1000 ms. Il valore predefinito è 1000 millisecondi.

  • throttle_decrease_factor: il fattore in base al quale Athena riduce la frequenza delle chiamate. Il valore predefinito è 0.5

  • throttle_increase_ms: la velocità con cui Athena riduce il ritardo della chiamata. Il valore predefinito è 10 millisecondi.

Database e tabelle

Il connettore Athena CloudWatch Metrics mappa i namespace, le dimensioni, le metriche e i valori delle metriche in due tabelle in un unico schema chiamato. default

La tabella metrics (parametri)

La tabella metrics contiene i parametri disponibili definiti in modo univoco da una combinazione di spazio del nome, set e nome. La tabella metrics contiene le colonne seguenti.

  • namespace: un VARCHAR contenente lo spazio del nome.

  • metric_name: un VARCHAR contenente il nome del parametro.

  • dimensions: un LIST di oggetti STRUCT composti da dim_name (VARCHAR) e dim_value (VARCHAR).

  • statistic: un LIST di statistiche VARCH (ad esempio, p90, AVERAGE...) disponibili per il parametro.

La tabella metric_samples (campioni dei parametri)

La tabella metric_samples contiene i campioni del parametro disponibili per ciascun parametro all'interno della tabella metrics. La tabella metric_samples contiene le colonne seguenti.

  • namespace: un VARCHAR contenente lo spazio del nome.

  • metric_name: un VARCHAR contenente il nome del parametro.

  • dimensions: un LIST di oggetti STRUCT composti da dim_name (VARCHAR) e dim_value (VARCHAR).

  • dim_name: un campo di cortesia VARCHAR che puoi utilizzare per filtrare facilmente in base al nome di una singola dimensione.

  • dim_value: un campo di cortesia VARCHAR che puoi utilizzare per filtrare facilmente in base al valore di una singola dimensione.

  • period: un campo INT che rappresenta il "periodo" del parametro in secondi (ad esempio, il parametro può avere un valore di 60 secondi).

  • timestamp: un campo BIGINT che rappresenta l'ora epoch, espressa in secondi, alla quale il campione del parametro fa riferimento.

  • value: un campo FLOAT8 che contiene il valore del campione.

  • statistic: un VARCHAR che contiene il tipo di statistica del campione (ad esempio, AVERAGE o p90).

Autorizzazioni richieste

Per tutti i dettagli sulle IAM politiche richieste da questo connettore, consulta la sezione del file.yaml. Policies athena-cloudwatch-metrics L'elenco che segue riporta un riepilogo delle autorizzazioni richieste.

  • Accesso in scrittura ad Amazon S3: per trasferire i risultati di query di grandi dimensioni, il connettore richiede l'accesso in scrittura a una posizione in Amazon S3.

  • Athena GetQueryExecution: il connettore utilizza questa autorizzazione per fallire rapidamente quando la query Athena upstream è terminata.

  • CloudWatch Metriche ReadOnly: il connettore utilizza questa autorizzazione per interrogare i dati delle metriche.

  • CloudWatch Scrittura dei registri: il connettore utilizza questo accesso per scrivere i registri di diagnostica.

Prestazioni

Il connettore Athena CloudWatch Metrics tenta di ottimizzare le query rispetto a CloudWatch Metrics parallelizzando le scansioni dei flussi di log necessari per la query. Per determinati filtri temporali, metrici, namespace e dimensioni, il pushdown dei predicati viene eseguito sia all'interno della funzione Lambda che all'interno dei log. CloudWatch

Informazioni sulla licenza

Il progetto Amazon Athena CloudWatch Metrics connector è concesso in licenza con la licenza Apache-2.0.

Risorse aggiuntive

Per ulteriori informazioni su questo connettore, visita il sito corrispondente su .com. GitHub