View a markdown version of this page

Eine Streaming-Tabellenlieferung erstellen - Amazon Kinesis Data Streams
Verwendung der AWS-ManagementkonsoleVerwendung der AWS CLI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Eine Streaming-Tabellenlieferung erstellen

Erstellen Sie eine Lieferung, die kontinuierlich Datensätze aus einem Amazon Kinesis Data Streams-Stream an eine Streaming-Tabelle auf Apache Iceberg sendet, die von einem S3-Tabellen-Bucket unterstützt wird. Sie können eine Lieferung mit dem AWS-Managementkonsole oder dem erstellen. AWS CLI Wenn Sie eine Lieferung erstellen, erstellt Amazon Kinesis Data Streams die Iceberg-Zieltabelle in dem von Ihnen angegebenen Tabellen-Bucket.

Anmerkung

Bevor Sie eine Lieferung erstellen, müssen Sie die unter aufgeführten Voraussetzungen erfüllenErste Schritte mit Streaming-Tabellen, einschließlich der Rolle zur Ausführung des IAM-Services, die unter beschrieben wird. IAM-Berechtigungen für die Datenlieferung Für die Bereitstellung einer Streaming-Tabelle sind ein Schema in der AWS Glue Schemaregistrierung und eine Warteschlange mit unlesbaren Buchstaben erforderlich.

Verwendung der AWS-Managementkonsole

  1. Öffnen Sie die Kinesis-Konsole unter. https://console.aws.amazon.com/kinesis

  2. Wählen Sie im Navigationsbereich Streaming-Tabellen und dann Streaming-Tabelle erstellen aus.

  3. Schritt 1: Quellkonfiguration. Geben Sie unter Lieferdetails einen Liefernamen ein. Zulässige Zeichen sind Groß- und Kleinbuchstaben, Zahlen, Unterstriche, Bindestriche und Punkte. Wählen Sie unter Quelle den Stream aus, aus dem die Übertragung erfolgen soll On-Demand. Es werden nur On-Demand Streams angezeigt. Wählen Sie Weiter aus.

  4. Schritt 2: Zielkonfiguration. Wählen Sie unter Konfiguration der Datensatzkonvertierung ein Format für die Datensatzkonvertierung aus:

    • JSON — JSON-Datensätze, die anhand eines Schemas in der AWS Glue Schemaregistrierung validiert werden. Geben Sie den Schema-ARN in der Glue-Schemaregistrierung an.

    • Glue Schema Registry JSON — Konvertiert Datensätze mithilfe eines AWS Glue JSON-Schemas für die Schemaregistrierung.

    Geben Sie für die Glue-Schemaregistrierung den Schema-ARN an oder wählen Sie Durchsuchen, um einen auszuwählen.

  5. Geben Sie unter Zieltabelle an, wo Amazon Kinesis Data Streams die Iceberg-Tabelle erstellt:

    • S3-Tabellen-Bucket-ARN — der ARN des S3-Tabellen-Buckets. Wählen Sie Browse S3, um einen auszuwählen.

    • Namespace — der Namespace für die Tabelle (nur Kleinbuchstaben, Zahlen und Unterstriche).

    • Tabellenname — der Name der zu erstellenden Tabelle.

    • Spaltenname — der Name eines Datums-/Uhrzeitfeldes aus Ihrem Schema, das verwendet wird, um die Tabelle nach Stunden zu partitionieren. Das Feld muss ein Zeichenfolgenfeld mit dem Datums-/Uhrzeitformat im Schema sein.

    • Komprimierungstyp — wählen Sie ZSTD, Snappy oder None.

    • Aktualität der Daten — die maximale Pufferzeit in Sekunden, bevor Datensätze übermittelt werden (mindestens 300, maximal 900).

    Wählen Sie Weiter aus.

  6. Schritt 3: Zusätzliche Konfiguration. Konfigurieren Sie Folgendes und wählen Sie dann Weiter:

    • Verschlüsselungskonfiguration — Daten werden standardmäßig mit der Amazon S3-Standardverschlüsselung verschlüsselt. Um einen vom Kunden verwalteten Schlüssel zu verwenden, wählen Sie Verschlüsselungseinstellungen anpassen (erweitert).

    • Servicezugriff — Wählen Sie für den IAM-Rollen-ARN die IAM-Rolle aus, die den Zugriff auf das Ziel gewährt, oder erstellen Sie sie. Wählen Sie IAM-Rolle erstellen, um eine zu erstellen.

    • Warteschlange für unzustellbare Briefe — Wählen Sie für den S3-Bucket-URI den Amazon S3-Bucket aus, in dem unzustellbare Datensätze gespeichert sind. Legen Sie optional ein Präfix für die Ausgabe von S3-Bucket-Fehlern fest.

    • Versand protokollieren — Wählen Sie optional An Amazon CloudWatch Logs liefern aus, um die Versanddiagnosen zu erfassen.

    • Tags — Fügen Sie optional Tags mit Schlüsselwert hinzu, um Ihre Lieferung zu identifizieren und zu organisieren.

  7. Schritt 4: Prüfen und erstellen. Überprüfen Sie Ihre Konfiguration und wählen Sie dann Streaming-Tabelle erstellen aus. Die Bereitstellung geht nach Abschluss der Bereitstellung von CREATING zu ACTIVE über.

Verwendung der AWS CLI

Verwenden Sie den create-channel Befehl, um eine Streaming-Tabellenbereitstellung zu erstellen. Für diese Konfiguration sind ein Schema aus der AWS Glue Schema Registry und eine Warteschlange mit unlesbaren Buchstaben erforderlich: 

aws kinesis create-channel \
    --channel-name "my-iceberg-delivery" \
    --service-execution-role-arn "arn:aws:iam::123456789012:role/my-channel-role" \
    --stream-configuration-list '[
        {
            "StreamARN": "arn:aws:kinesis:us-east-1:123456789012:stream/my-stream",
            "RecordConfiguration": {
                "RecordFormatType": "JSON",
                "GSRSchemaARN": "arn:aws:glue:us-east-1:123456789012:schema/my-registry/my-schema"
            }
        }
    ]' \
    --s3-tables-destination-configuration '{
        "DataFreshnessInSeconds": 300,
        "DeadLetterQueueS3Configuration": {
            "BucketARN": "arn:aws:s3:::my-dlq-bucket",
            "ExpectedBucketOwner": "123456789012",
            "ErrorOutputPrefix": "dlq/"
        },
        "S3TablesConfigurationList": [
            {
                "TableBucketARN": "arn:aws:s3tables:us-east-1:123456789012:bucket/my-table-bucket",
                "Namespace": "my_namespace",
                "TableName": "my_table",
                "CompressionType": "ZSTD",
                "PartitionSpec": {
                    "PartitionFields": [
                        {
                            "SourceName": "timestamp",
                            "Transform": "TIME_HOUR"
                        }
                    ]
                }
            }
        ]
    }'

Der Befehl gibt den Kanal ARN () ChannelARN zurück. Verwenden Sie es mitdescribe-channel, um zu überprüfen, ob die Lieferung den Status ACTIVE erreicht. Siehe Beschreiben Sie eine Streaming-Tabellenlieferung.

API-Referenz — siehe CreateChannel in der Amazon Kinesis Data Streams API-Referenz.