Mit Amazon MSK in Amazon Data Firehose schreiben - Amazon Data Firehose

Amazon Data Firehose war zuvor als Amazon Kinesis Data Firehose bekannt

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Mit Amazon MSK in Amazon Data Firehose schreiben

Sie können Amazon MSK so konfigurieren, dass Informationen an einen Firehose-Stream gesendet werden.

  1. Melden Sie sich bei der Amazon Data Firehose-Konsole an AWS Management Console und öffnen Sie sie unter https://console.aws.amazon.com/firehose/.

  2. Wählen Sie Create Firehose stream.

    Geben Sie auf der Seite Wählen einer Quelle und eines Ziels Werte für die folgenden Felder ein:

    Quelle

    Wählen Sie Amazon MSK, um einen Firehose-Stream zu konfigurieren, der Amazon MSK als Datenquelle verwendet. Sie können zwischen von MSK bereitgestellten Clustern und MSK-Serverless-Clustern wählen. Anschließend können Sie Amazon Data Firehose verwenden, um Daten einfach aus einem bestimmten Amazon MSK-Cluster und -Thema zu lesen und sie in das angegebene S3-Ziel zu laden.

    Zieladresse

    Wählen Sie Amazon S3 als Ziel für Ihren Firehose-Stream.

    Geben Sie auf der Seite im Abschnitt Quelleneinstellung Werte für die folgenden Felder ein:

    Amazon-MSK-Cluster-Konnektivität

    Wählen Sie je nach Ihrer Cluster-Konfiguration entweder die Option Private Bootstrap-Broker (empfohlen) oder Öffentliche Bootstrap-Broker. Der Apache-Kafka-Client verwendet Bootstrap-Broker als Ausgangspunkt für die Verbindung mit dem Cluster. Öffentliche Bootstrap-Broker sind für den öffentlichen Zugriff von außen vorgesehen AWS, während private Bootstrap-Broker für den Zugriff von innen vorgesehen sind. AWS Weitere Informationen über Amazon MSK finden Sie unter Amazon Managed Streaming for Apache Kafka.

    Um eine Verbindung zu einem bereitgestellten oder serverless Amazon-MSK-Cluster über einen privaten Bootstrap Broker herzustellen, muss der Cluster alle der folgenden Anforderungen erfüllen.

    • Der Cluster muss aktiv sein.

    • Der Cluster muss IAM als eine seiner Zugriffskontrollmethoden verwenden.

    • Private Multi-VPC-Konnektivität muss für die IAM-Zugriffskontrollmethode aktiviert sein.

    • Sie müssen diesem Cluster eine ressourcenbasierte Richtlinie hinzufügen, die dem Amazon Data Firehose-Service Principal die Erlaubnis erteilt, die Amazon MSK-API aufzurufen. CreateVpcConnection

    Um über einen öffentlichen Bootstrap-Broker eine Verbindung zu einem bereitgestellten Amazon-MSK-Cluster herzustellen, muss der Cluster alle der folgenden Anforderungen erfüllen.

    • Der Cluster muss aktiv sein.

    • Der Cluster muss IAM als eine seiner Zugriffskontrollmethoden verwenden.

    • Der Cluster muss öffentlich zugänglich sein.

    Amazon-MSK-Cluster

    Geben Sie für dasselbe Kontenszenario den ARN des Amazon MSK-Clusters an, aus dem Ihr Firehose-Stream Daten liest.

    Ein kontenübergreifendes Szenario finden Sie unter Kontoübergreifender Versand von Amazon MSK.

    Topic

    Geben Sie das Apache Kafka-Thema an, aus dem Firehose Firehose-Stream Daten aufnehmen soll. Sobald der Firehose-Stream erstellt wurde, können Sie dieses Thema nicht mehr aktualisieren.

    Geben Sie im Firehose Firehose-Streamname der Seite Werte für die folgenden Felder an:

    Name des Firehose-Streams

    Geben Sie den Namen für Ihren Firehose-Stream an.

  3. Als Nächstes können Sie den optionalen Schritt der Konfiguration der Datensatztransformation und der Datensatzformatkonvertierung abschließen. Weitere Informationen finden Sie unter Konfiguration der Datensatztransformation und der Formatkonvertierung.