Konnektor für Amazon Athena CloudWatch Metrics - Amazon Athena

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konnektor für Amazon Athena CloudWatch Metrics

Der Amazon Athena CloudWatch Metrics Connector ermöglicht es Amazon Athena, CloudWatch Metrics-Daten mit abzufragen. SQL

Dieser Konnektor verwendet keine Glue-Verbindungen, um die Konfigurationseigenschaften in Glue zu zentralisieren. Die Verbindungskonfiguration erfolgt über Lambda.

Informationen zum Veröffentlichen CloudWatch von Abfragemetriken in Athena selbst finden Sie unterVerwenden Sie CloudWatch und EventBridge , um Abfragen zu überwachen und die Kosten zu kontrollieren.

Voraussetzungen

Parameter

Verwenden Sie die Parameter in diesem Abschnitt, um den CloudWatch Metrics-Konnektor zu konfigurieren.

  • spill_bucket – Gibt den Amazon S3-Bucket für Daten an, die die Lambda-Funktionsgrenzen überschreiten.

  • spill_prefix – (Optional) Ist standardmäßig ein Unterordner im angegebenen spill_bucket genannt athena-federation-spill. Wir empfehlen Ihnen, einen Amazon-S3-Speicher-Lebenszyklus an dieser Stelle zu konfigurieren, um die Überlaufe zu löschen, die älter als eine festgelegte Anzahl von Tagen oder Stunden sind.

  • spill_put_request_headers — (Optional) Eine JSON kodierte Zuordnung von Anforderungsheadern und Werten für die Amazon S3 putObject S3-Anfrage, die zum Verschicken verwendet wird (z. B.). {"x-amz-server-side-encryption" : "AES256"} Weitere mögliche Header finden Sie PutObjectin der Amazon Simple Storage Service API Reference.

  • kms_key_id — (Optional) Standardmäßig werden alle Daten, die auf Amazon S3 übertragen werden, mit dem GCM authentifizierten Verschlüsselungsmodus und einem zufällig AES generierten Schlüssel verschlüsselt. Damit Ihre Lambda-Funktion stärkere Verschlüsselungsschlüssel verwendet, die von KMS like generiert wurdena7e63k4b-8loc-40db-a2a1-4d0en2cd8331, können Sie eine KMS Schlüssel-ID angeben.

  • disable_spill_encryption – (Optional) Bei Einstellung auf True, wird die Spill-Verschlüsselung deaktiviert. Die Standardeinstellung ist False so, dass Daten, die auf S3 übertragen werden, mit AES - verschlüsselt werden GCM — entweder mit einem zufällig generierten Schlüssel oder KMS zur Generierung von Schlüsseln. Das Deaktivieren der Überlauf-Verschlüsselung kann die Leistung verbessern, insbesondere wenn Ihr Überlauf-Standort eine serverseitige Verschlüsselung verwendet.

Der Connector unterstützt auch die AIMDÜberlastungskontrolle für die Verarbeitung von Drosselungsereignissen CloudWatch über das Amazon Athena Query Federation-Konstrukt. SDK ThrottlingInvoker Sie können das Standarddrosselungsverhalten optimieren, indem Sie eine der folgenden optionalen Umgebungsvariablen festlegen:

  • throttle_initial_delay_ms – Die erste Aufrufverzögerung, die nach dem ersten Stauereignis angewendet wurde. Der Standardwert beträgt 10 Millisekunden.

  • throttle_max_delay_ms – Die maximale Verzögerung zwischen Aufrufen. Sie können es ableiten, TPS indem Sie es in 1000 ms aufteilen. Der Standardwert beträgt 1 000 Millisekunden.

  • throttle_decrease_factor – Der Faktor, um den Athena die Aufrufrate reduziert. Der Standardwert ist 0,5.

  • throttle_increase_ms – Die Geschwindigkeit, mit der Athena die Aufrufverzögerung verringert. Der Standardwert beträgt 10 Millisekunden.

Datenbanken und Tabellen

Der Athena CloudWatch Metrics-Konnektor ordnet Ihre Namespaces, Dimensionen, Metriken und Metrikwerte in zwei Tabellen in einem einzigen Schema namens zu. default

Die Metriktabelle

Diemetrics-Tabelle enthält die verfügbaren Metriken, die durch eine Kombination aus Namensbereichen, Set und Name eindeutig definiert sind. Die metrics-Tabelle enthält die folgenden Spalten.

  • Namensbereich – Ein VARCHAR, der den Namensbereich enthält.

  • metric_name – Ein VARCHAR, der den Metriknamen enthält.

  • dimensions – Ein LIST von STRUCT-Objekten bestehend aus dim_name (VARCHAR) und dim_value (VARCHAR).

  • statistic – Ein LIST von VARCH-Statistiken (zum Beispiel p90, AVERAGE,...) verfügbar für die Metrik.

Die Tabelle metric_samples

Die metric_samples-Tabelle enthält die verfügbaren metrischen Stichproben für jede Metrik in der metrics-Tabelle. Die metric_samples-Tabelle enthält die folgenden Spalten.

  • Namensraum – Ein VARCHAR, der den Namensbereich enthält.

  • metric_name – Ein VARCHAR, der den Metriknamen enthält.

  • dimensions – Ein LIST von STRUCT-Objekten bestehend aus dim_name (VARCHAR) und dim_value (VARCHAR).

  • dim_name – Ein VARCHAR-Komfortfeld, das Sie verwenden können, um einfach nach einem einzelnen Dimensionsnamen zu filtern.

  • dim_value – Ein VARCHAR-Komfortfeld, das Sie verwenden können, um einfach nach einem einzelnen Dimensionswert zu filtern.

  • period – Ein INT-Feld, das die „Periode“ der Metrik in Sekunden darstellt (z. B. eine 60-Sekunden-Metrik).

  • timestamp – Ein BIGINT-Feld, das die Zeit in Sekunden darstellt, für die die metrische Stichprobe gilt.

  • value – Ein FLOAT8-Feld, das den Wert der Stichprobe enthält.

  • Statistik – Ein VARCHAR, der den Statistiktyp der Stichprobe enthält (z. B. AVERAGE oder p90).

Erforderliche Berechtigungen

Vollständige Informationen zu den IAM Richtlinien, die für diesen Connector erforderlich sind, finden Sie im Policies Abschnitt der .yaml-Datei. athena-cloudwatch-metrics In der folgenden Liste sind die erforderlichen Berechtigungen zusammengefasst.

  • Amazon-S3-Schreibzugriff – Der Konnektor benötigt Schreibzugriff auf einen Speicherort in Amazon S3, um Ergebnisse aus großen Abfragen zu übertragen.

  • Athena GetQueryExecution — Der Konnektor verwendet diese Berechtigung, um einen Fast-Fail auszuführen, wenn die Upstream-Athena-Abfrage beendet wurde.

  • CloudWatch Metriken ReadOnly — Der Connector verwendet diese Berechtigung, um Ihre Metrikdaten abzufragen.

  • CloudWatch Logs Write — Der Connector verwendet diesen Zugriff, um seine Diagnoseprotokolle zu schreiben.

Leistung

Der Athena CloudWatch Metrics-Konnektor versucht, Abfragen anhand von CloudWatch Metrics zu optimieren, indem er Scans der für Ihre Abfrage erforderlichen Log-Streams parallelisiert. Für bestimmte Zeiträume, Metrik-, Namespace- und Dimensionsfilter wird der Prädikat-Pushdown sowohl innerhalb der Lambda-Funktion als auch in Logs ausgeführt. CloudWatch

Lizenzinformationen

Das Amazon Athena CloudWatch Metrics Connector-Projekt ist unter der Apache-2.0-Lizenz lizenziert.

Weitere Ressourcen

Weitere Informationen zu diesem Connector finden Sie auf der entsprechenden Website unter .com. GitHub