Für neue Projekte empfehlen wir, den neuen Managed Service für Apache Flink Studio anstelle von Kinesis Data Analytics for SQL Applications zu verwenden. Der Managed Service für Apache Flink Studio kombiniert Benutzerfreundlichkeit mit fortschrittlichen Analysefunktionen, sodass Sie in wenigen Minuten anspruchsvolle Anwendungen zur Stream-Verarbeitung erstellen können.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren der Anwendungseingabe

Ihre Amazon Kinesis Data Analytics-Anwendung kann Eingaben aus einer einzelnen Streaming-Quelle erhalten und optional eine einzelne Referenzdatenquelle verwenden. Weitere Informationen finden Sie unter Amazon Kinesis Data Analytics für SQL-Anwendungen: So funktioniert's. Die Abschnitte in diesem Thema beschreiben die Quellen von Anwendungseingaben.

Konfigurieren einer Streaming-Quelle

Zu dem Zeitpunkt, an dem Sie eine Anwendung erstellen, geben Sie eine Streaming-Quelle an. Sie können auch eine Eingabe ändern, nachdem Sie die Anwendung erstellt haben. Amazon Kinesis Data Analytics unterstützt die folgenden Streaming-Quellen für Ihre Anwendung:

Kinesis Data Analytics fragt die Streaming-Quelle kontinuierlich nach neuen Daten ab und übernimmt diese in In-Application-Streams, je nach Eingabekonfiguration.

Ihr Anwendungscode kann den In-Application-Stream abfragen. Im Rahmen der Eingabekonfiguration stellen Sie Folgendes bereit:

Sie können in der Amazon Kinesis Data Analytics-Konsole eine Anwendung erstellen und Eingaben konfigurieren. Die Konsole führt anschließend die erforderlichen API-Aufrufe aus. Sie können Anwendungseingaben konfigurieren, wenn Sie eine neue Anwendungs-API erstellen oder einer vorhandenen Anwendung eine Eingabekonfiguration hinzufügen. Weitere Informationen finden Sie unter CreateApplication und AddApplicationInput. Im Folgenden sehen Sie den Eingabekonfigurationsteil des Createapplication-API-Anforderungstexts:

 "Inputs": [
        {
            "InputSchema": {
                "RecordColumns": [
                    {
                        "Mapping": "string",
                        "Name": "string",
                        "SqlType": "string"
                    }
                ],
                "RecordEncoding": "string",
                "RecordFormat": {
                    "MappingParameters": {
                        "CSVMappingParameters": {
                            "RecordColumnDelimiter": "string",
                            "RecordRowDelimiter": "string"
                        },
                        "JSONMappingParameters": {
                            "RecordRowPath": "string"
                        }
                    },
                    "RecordFormatType": "string"
                }
            },
            "KinesisFirehoseInput": {
                "ResourceARN": "string",
                "RoleARN": "string"
            },
            "KinesisStreamsInput": {
                "ResourceARN": "string",
                "RoleARN": "string"
            },
            "Name": "string"
        }
    ]

Konfigurieren einer Referenzquelle

Sie können darüber hinaus optional eine Referenzdatenquelle zu einer vorhandenen Anwendung hinzufügen, um die Daten aus Streaming-Quellen zu ergänzen. Sie müssen Referenzdaten als Objekt in Ihrem Amazon S3 Bucket speichern. Wenn die Anwendung gestartet wird, liest Amazon Kinesis Data Analytics das Amazon S3-Objekt und erstellt eine In-Application-Referenztabelle. Ihr Anwendungscode kann die Tabelle dann mit einem In-Application-Stream verknüpfen.

Sie speichern Referenzdaten im Amazon S3-Objekt unter Verwendung der unterstützten Formate (CSV, JSON). Angenommen, Ihre Anwendung führt Analysen von Börsenbestellungen aus. Nehmen Sie das folgende Datensatzformat für die Streaming-Quelle an:

Ticker, SalePrice, OrderId

AMZN     $700        1003
XYZ      $250        1004
...

In diesem Fall könnten Sie eine Referenzdatenquelle in Betracht ziehen, um Details zu den einzelnen Börsentickern bereitzustellen, wie den Firmennamen.

Ticker, Company
AMZN, Amazon
XYZ, SomeCompany
...

Sie können eine Referenzdatenquelle der Anwendung entweder mit der API oder mit der Konsole hinzufügen. Amazon Kinesis Data Analytics stellt die folgenden API-Aktionen zur Verwaltung von Referenz-Datenquellen bereit:

Informationen zum Hinzufügen von Referenzdaten mithilfe der Konsole finden Sie unter Beispiel: Hinzufügen von Referenzdaten zu einer Kinesis Data Analytics-Anwendung.

Beachten Sie Folgendes:

Gehen wir davon aus, dass Sie die Daten aktualisieren möchten, nachdem Kinesis Data Analytics die In-Application-Referenztabelle erstellt hat. Vielleicht haben Sie das Amazon S3-Objekt aktualisiert oder Sie möchten ein anderes Amazon S3-Objekt verwenden. In diesem Fall können Sie entweder UpdateApplication explizit aufrufen oder in der Konsole Aktionen, Referenzdatentabelle synchronisieren wählen. Kinesis Data Analytics aktualisiert die In-Application-Referenztabelle nicht automatisch.

Es gibt eine Einschränkung in Bezug auf die Größe des Amazon S3-Objekts, das Sie als Referenzdatenquelle erstellen können. Weitere Informationen finden Sie unter Einschränkungen. Wenn die Größe des Objekts den Grenzwert überschreitet, kann Kinesis Data Analytics die Daten nicht laden. Der Anwendungsstatus wird als „ausgeführt“ angezeigt, die Daten werden jedoch nicht gelesen.

Wenn Sie eine Referenzdatenquelle hinzufügen, müssen Sie folgende Informationen bereitstellen:

Im Folgenden wird der Anforderungstext in der AddApplicationReferenceDataSource-API-Anforderung gezeigt.

{
    "applicationName": "string",
    "CurrentapplicationVersionId": number,
    "ReferenceDataSource": {
        "ReferenceSchema": {
            "RecordColumns": [
                {
                    "IsDropped": boolean,
                    "Mapping": "string",
                    "Name": "string",
                    "SqlType": "string"
                }
            ],
            "RecordEncoding": "string",
            "RecordFormat": {
                "MappingParameters": {
                    "CSVMappingParameters": {
                        "RecordColumnDelimiter": "string",
                        "RecordRowDelimiter": "string"
                    },
                    "JSONMappingParameters": {
                        "RecordRowPath": "string"
                    }
                },
                "RecordFormatType": "string"
            }
        },
        "S3ReferenceDataSource": {
            "BucketARN": "string",
            "FileKey": "string",
            "ReferenceRoleARN": "string"
        },
        "TableName": "string"
    }
}