MSKAmazon-Beispiele mit AWS CLI - AWS SDKCode-Beispiele
Aktionen

Weitere AWS SDK Beispiele sind im Repo AWS Doc SDK Examples GitHub verfügbar.

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

MSKAmazon-Beispiele mit AWS CLI

Die folgenden Codebeispiele zeigen Ihnen, wie Sie Aktionen ausführen und allgemeine Szenarien implementieren, indem Sie AWS Command Line Interface mit Amazon verwendenMSK.

Aktionen sind Codeauszüge aus größeren Programmen und müssen im Kontext ausgeführt werden. Aktionen zeigen Ihnen zwar, wie Sie einzelne Servicefunktionen aufrufen, aber Sie können Aktionen im Kontext der zugehörigen Szenarien sehen.

Jedes Beispiel enthält einen Link zum vollständigen Quellcode, in dem Sie Anweisungen zum Einrichten und Ausführen des Codes im Kontext finden.

Themen

Aktionen

Das folgende Codebeispiel zeigt die Verwendungcreate-cluster.

AWS CLI

Um einen MSK Amazon-Cluster zu erstellen

Im folgenden create-cluster Beispiel wird ein MSK Cluster MessagingCluster mit dem Namen drei Broker-Knoten erstellt. Eine JSON Datei mit dem Namen brokernodegroupinfo.json gibt die drei Subnetze an, über die Amazon die Broker-Knoten verteilen MSK soll. In diesem Beispiel wird die Überwachungsebene nicht angegeben, sodass der Cluster die DEFAULT Ebene erhält.

aws kafka create-cluster \
    --cluster-name "MessagingCluster" \
    --broker-node-group-info file://brokernodegroupinfo.json \
    --kafka-version "2.2.1" \
    --number-of-broker-nodes 3

Inhalt von brokernodegroupinfo.json:

{
    "InstanceType": "kafka.m5.xlarge",
    "BrokerAZDistribution": "DEFAULT",
    "ClientSubnets": [
        "subnet-0123456789111abcd",
        "subnet-0123456789222abcd",
        "subnet-0123456789333abcd"
    ]
}

Ausgabe:

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterName": "MessagingCluster",
    "State": "CREATING"
}

Weitere Informationen finden Sie unter Erstellen eines MSK Amazon-Clusters im Amazon Managed Streaming for Apache Kafka.

Das folgende Codebeispiel zeigt die Verwendungcreate-configuration.

AWS CLI

Um eine benutzerdefinierte MSK Amazon-Konfiguration zu erstellen

Im folgenden create-configuration Beispiel wird eine benutzerdefinierte MSK Konfiguration mit den Servereigenschaften erstellt, die in der Eingabedatei angegeben sind.

aws kafka create-configuration \
    --name "CustomConfiguration" \
    --description "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms." \
    --kafka-versions "2.2.1" \
    --server-properties file://configuration.txt

Inhalt von configuration.txt:

auto.create.topics.enable = true
zookeeper.connection.timeout.ms = 2000
log.roll.ms = 604800000

Mit diesem Befehl wird keine Ausgabe zurückgegeben. Ausgabe:

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "CreationTime": "2019-10-09T15:26:05.548Z",
    "LatestRevision":
        {
            "CreationTime": "2019-10-09T15:26:05.548Z",
            "Description": "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms.",
            "Revision": 1
        },
    "Name": "CustomConfiguration"
}

Weitere Informationen finden Sie unter Amazon MSK Configuration Operations im Amazon Managed Streaming for Apache Kafka Developer Guide.

Das folgende Codebeispiel zeigt die Verwendungdescribe-cluster.

AWS CLI

Um einen Cluster zu beschreiben

Das folgende describe-cluster Beispiel beschreibt einen MSK Amazon-Cluster.

aws kafka describe-cluster \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Ausgabe:

{
    "ClusterInfo": {
        "BrokerNodeGroupInfo": {
            "BrokerAZDistribution": "DEFAULT",
            "ClientSubnets": [
                "subnet-cbfff283",
                "subnet-6746046b"
            ],
            "InstanceType": "kafka.m5.large",
            "SecurityGroups": [
                "sg-f839b688"
            ],
            "StorageInfo": {
                "EbsStorageInfo": {
                    "VolumeSize": 100
                }
            }
        },
        "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
        "ClusterName": "demo-cluster-1",
        "CreationTime": "2020-07-09T02:31:36.223000+00:00",
        "CurrentBrokerSoftwareInfo": {
            "KafkaVersion": "2.2.1"
        },
        "CurrentVersion": "K3AEGXETSR30VB",
        "EncryptionInfo": {
            "EncryptionAtRest": {
                "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
            },
            "EncryptionInTransit": {
                "ClientBroker": "TLS_PLAINTEXT",
                "InCluster": true
            }
        },
        "EnhancedMonitoring": "DEFAULT",
        "OpenMonitoring": {
            "Prometheus": {
                "JmxExporter": {
                    "EnabledInBroker": false
                },
                "NodeExporter": {
                    "EnabledInBroker": false
                }
            }
        },
        "NumberOfBrokerNodes": 2,
        "State": "ACTIVE",
        "Tags": {},
        "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
    }
}

Weitere Informationen finden Sie unter MSKAmazon-Cluster auflisten im Amazon Managed Streaming for Apache Kafka Developer Guide.

  • APIEinzelheiten finden Sie DescribeClusterin der AWS CLI Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendungget-bootstrap-brokers.

AWS CLI

Um Bootstrap-Broker zu bekommen

Im folgenden get-bootstrap-brokers Beispiel werden die Bootstrap-Broker-Informationen für einen MSK Amazon-Cluster abgerufen.

aws kafka get-bootstrap-brokers \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Ausgabe:

{
    "BootstrapBrokerString": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092",
    "BootstrapBrokerStringTls": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094"
}

Weitere Informationen finden Sie unter Getting the Bootstrap Brokers im Amazon Managed Streaming for Apache Kafka Developer Guide.

Das folgende Codebeispiel zeigt die Verwendunglist-clusters.

AWS CLI

Um die verfügbaren Cluster aufzulisten

Das folgende list-clusters Beispiel listet die MSK Amazon-Cluster in Ihrem AWS Konto auf.

aws kafka list-clusters

Ausgabe:

{
    "ClusterInfoList": [
        {
            "BrokerNodeGroupInfo": {
                "BrokerAZDistribution": "DEFAULT",
                "ClientSubnets": [
                    "subnet-cbfff283",
                    "subnet-6746046b"
                ],
                "InstanceType": "kafka.m5.large",
                "SecurityGroups": [
                    "sg-f839b688"
                ],
                "StorageInfo": {
                    "EbsStorageInfo": {
                        "VolumeSize": 100
                    }
                }
            },
            "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
            "ClusterName": "demo-cluster-1",
            "CreationTime": "2020-07-09T02:31:36.223000+00:00",
            "CurrentBrokerSoftwareInfo": {
                "KafkaVersion": "2.2.1"
            },
            "CurrentVersion": "K3AEGXETSR30VB",
            "EncryptionInfo": {
                "EncryptionAtRest": {
                    "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
                },
                "EncryptionInTransit": {
                    "ClientBroker": "TLS_PLAINTEXT",
                    "InCluster": true
                }
            },
            "EnhancedMonitoring": "DEFAULT",
            "OpenMonitoring": {
                "Prometheus": {
                    "JmxExporter": {
                        "EnabledInBroker": false
                    },
                    "NodeExporter": {
                        "EnabledInBroker": false
                    }
                }
            },
            "NumberOfBrokerNodes": 2,
            "State": "ACTIVE",
            "Tags": {},
            "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
        }
    ]
}

Weitere Informationen finden Sie unter MSKAmazon-Cluster auflisten im Amazon Managed Streaming for Apache Kafka Developer Guide.

  • APIEinzelheiten finden Sie ListClustersin der AWS CLI Befehlsreferenz.

Das folgende Codebeispiel zeigt die Verwendungupdate-broker-storage.

AWS CLI

Um den EBS Speicher für Makler zu aktualisieren

Im folgenden update-broker-storage Beispiel wird die EBS Speichermenge für alle Broker im Cluster aktualisiert. Amazon MSK legt den Zielspeicherbetrag für jeden Broker auf den im Beispiel angegebenen Betrag fest. Sie können die aktuelle Version des Clusters abrufen, indem Sie den Cluster beschreiben oder indem Sie alle Cluster auflisten.

aws kafka update-broker-storage \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --current-version "K21V3IB1VIZYYH" \
    --target-broker-ebs-volume-info "KafkaBrokerNodeId=ALL,VolumeSizeGB=1100"

Die Ausgabe gibt ARN für diesen update-broker-storage Vorgang eine zurück. Um festzustellen, ob dieser Vorgang abgeschlossen ist, verwenden Sie den describe-cluster-operation Befehl mit diesem ARN als Eingabe.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Weitere Informationen finden Sie unter Update the EBS Storage for Brokers im Amazon Managed Streaming for Apache Kafka Developer Guide.

Das folgende Codebeispiel zeigt die Verwendungupdate-cluster-configuration.

AWS CLI

Um die Konfiguration eines MSK Amazon-Clusters zu aktualisieren

Das folgende update-cluster-configuration Beispiel aktualisiert die Konfiguration des angegebenen vorhandenen MSK Clusters. Es verwendet eine benutzerdefinierte MSK Konfiguration.

aws kafka update-cluster-configuration \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --configuration-info file://configuration-info.json \
    --current-version "K21V3IB1VIZYYH"

Inhalt von configuration-info.json:

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "Revision": 1
}

Die Ausgabe gibt an ARN für diesen update-cluster-configuration Vorgang zurück. Um festzustellen, ob dieser Vorgang abgeschlossen ist, verwenden Sie den describe-cluster-operation Befehl mit diesem ARN als Eingabe.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Weitere Informationen finden Sie unter Aktualisieren der Konfiguration eines MSK Amazon-Clusters im Amazon Managed Streaming for Apache Kafka Developer Guide.