Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Konnektor für Amazon Athena CloudWatch Metrics
Der Amazon Athena CloudWatch Metrics Connector ermöglicht es Amazon Athena, CloudWatch Metrics-Daten mit abzufragen. SQL
Dieser Konnektor verwendet keine Glue-Verbindungen, um die Konfigurationseigenschaften in Glue zu zentralisieren. Die Verbindungskonfiguration erfolgt über Lambda.
Informationen zum Veröffentlichen CloudWatch von Abfragemetriken in Athena selbst finden Sie unterVerwenden Sie CloudWatch und EventBridge , um Abfragen zu überwachen und die Kosten zu kontrollieren.
Voraussetzungen
Stellen Sie den Konnektor für Ihr AWS-Konto mithilfe der Athena-Konsole oder AWS Serverless Application Repository bereit. Weitere Informationen finden Sie unter Erstellen Sie eine Datenquellenverbindung oder Verwenden Sie den AWS Serverless Application Repository , um einen Datenquellenconnector bereitzustellen.
Parameter
Verwenden Sie die Parameter in diesem Abschnitt, um den CloudWatch Metrics-Konnektor zu konfigurieren.
-
spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.
-
spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen
spill_bucket
genanntathena-federation-spill
. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind. -
spill_put_request_headers — (Optional) Eine JSON kodierte Zuordnung von Anforderungsheadern und Werten für die Amazon S3
putObject
S3-Anfrage, die zum Verschicken verwendet wird (z. B.).{"x-amz-server-side-encryption" : "AES256"}
Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API Reference. -
kms_key_id — (Optional) Standardmäßig werden alle Daten, die auf Amazon S3 übertragen werden, mit dem GCM authentifizierten Verschlüsselungsmodus und einem zufällig AES generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS like generiert wurden
a7e63k4b-8loc-40db-a2a1-4d0en2cd8331
, können Sie eine KMS Schlüssel-ID angeben. -
disable_spill_encryption – (Optional) Bei Einstellung auf
True
, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung istFalse
so, dass Daten, die auf S3 übertragen werden, mit AES - verschlüsselt werden GCM — entweder mit einem zufällig generierten Schlüssel oder KMS zur Generierung von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.
Der Connector unterstützt auch die AIMDÜberlastungskontrolleThrottlingInvoker
Sie können das Standarddrosselungsverhalten optimieren, indem Sie eine der folgenden optionalen Umgebungsvariablen festlegen:
-
throttle_initial_delay_ms – Die erste Aufrufverzögerung, die nach dem ersten Stauereignis angewendet wurde. Der Standardwert beträgt 10 Millisekunden.
-
throttle_max_delay_ms – Die maximale Verzögerung zwischen Aufrufen. Sie können es ableiten, TPS indem Sie es in 1000 ms aufteilen. Der Standardwert beträgt 1 000 Millisekunden.
-
throttle_decrease_factor – Der Faktor, um den Athena die Aufrufrate reduziert. Der Standardwert ist 0,5.
-
throttle_increase_ms – Die Geschwindigkeit, mit der Athena die Aufrufverzögerung verringert. Der Standardwert beträgt 10 Millisekunden.
Datenbanken und Tabellen
Der Athena CloudWatch Metrics-Konnektor ordnet Ihre Namespaces, Dimensionen, Metriken und Metrikwerte in zwei Tabellen in einem einzigen Schema namens zu. default
Die Metriktabelle
Diemetrics
-Tabelle enthält die verfügbaren Metriken, die durch eine Kombination aus Namensbereichen, Set und Name eindeutig definiert sind. Die metrics
-Tabelle enthält die folgenden Spalten.
-
Namensbereich – Ein
VARCHAR
, der den Namensbereich enthält. -
metric_name – Ein
VARCHAR
, der den Metriknamen enthält. -
dimensions – Ein
LIST
vonSTRUCT
-Objekten bestehend ausdim_name (VARCHAR)
unddim_value (VARCHAR)
. -
statistic – Ein
LIST
vonVARCH
-Statistiken (zum Beispielp90
,AVERAGE
,...) verfügbar für die Metrik.
Die Tabelle metric_samples
Die metric_samples
-Tabelle enthält die verfügbaren metrischen Stichproben für jede Metrik in der metrics
-Tabelle. Die metric_samples
-Tabelle enthält die folgenden Spalten.
-
Namensraum – Ein
VARCHAR
, der den Namensbereich enthält. -
metric_name – Ein
VARCHAR
, der den Metriknamen enthält. -
dimensions – Ein
LIST
vonSTRUCT
-Objekten bestehend ausdim_name (VARCHAR)
unddim_value (VARCHAR)
. -
dim_name – Ein
VARCHAR
-Komfortfeld, das Sie verwenden können, um einfach nach einem einzelnen Dimensionsnamen zu filtern. -
dim_value – Ein
VARCHAR
-Komfortfeld, das Sie verwenden können, um einfach nach einem einzelnen Dimensionswert zu filtern. -
period – Ein
INT
-Feld, das die „Periode“ der Metrik in Sekunden darstellt (z. B. eine 60-Sekunden-Metrik). -
timestamp – Ein
BIGINT
-Feld, das die Zeit in Sekunden darstellt, für die die metrische Stichprobe gilt. -
value – Ein
FLOAT8
-Feld, das den Wert der Stichprobe enthält. -
Statistik – Ein
VARCHAR
, der den Statistiktyp der Stichprobe enthält (z. B.AVERAGE
oderp90
).
Erforderliche Berechtigungen
Vollständige Informationen zu den IAM Richtlinien, die für diesen Connector erforderlich sind, finden Sie im Policies
Abschnitt der .yaml-Datei. athena-cloudwatch-metrics
-
Amazon-S3-Schreibzugriff – Der Konnektor benötigt Schreibzugriff auf einen Speicherort in Amazon S3, um Ergebnisse aus großen Abfragen zu übertragen.
-
Athena GetQueryExecution — Der Konnektor verwendet diese Berechtigung, um einen Fast-Fail auszuführen, wenn die Upstream-Athena-Abfrage beendet wurde.
-
CloudWatch Metriken ReadOnly — Der Connector verwendet diese Berechtigung, um Ihre Metrikdaten abzufragen.
-
CloudWatch Logs Write — Der Connector verwendet diesen Zugriff, um seine Diagnoseprotokolle zu schreiben.
Leistung
Der Athena CloudWatch Metrics-Konnektor versucht, Abfragen anhand von CloudWatch Metrics zu optimieren, indem er Scans der für Ihre Abfrage erforderlichen Log-Streams parallelisiert. Für bestimmte Zeiträume, Metrik-, Namespace- und Dimensionsfilter wird der Prädikat-Pushdown sowohl innerhalb der Lambda-Funktion als auch in Logs ausgeführt. CloudWatch
Lizenzinformationen
Das Amazon Athena CloudWatch Metrics Connector-Projekt ist unter der Apache-2.0-Lizenz
Weitere Ressourcen
Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website unter .com