MSKEjemplos de Amazon que utilizan AWS CLI - AWS Command Line Interface
Acciones

Esta documentación es AWS CLI únicamente para la versión 1 de la versión. Para ver la documentación relacionada con la versión 2 de AWS CLI, consulte la Guía del usuario de la versión 2.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

MSKEjemplos de Amazon que utilizan AWS CLI

Los siguientes ejemplos de código muestran cómo realizar acciones e implementar escenarios comunes AWS Command Line Interface mediante AmazonMSK.

Las acciones son extractos de código de programas más grandes y deben ejecutarse en contexto. Mientras las acciones muestran cómo llamar a las funciones de servicio individuales, es posible ver las acciones en contexto en los escenarios relacionados.

Cada ejemplo incluye un enlace al código fuente completo, donde puede encontrar instrucciones sobre cómo configurar y ejecutar el código en su contexto.

Acciones

El siguiente ejemplo de código muestra cómo usarlocreate-cluster.

AWS CLI

Para crear un MSK clúster de Amazon

En el siguiente create-cluster ejemplo, se crea un MSK clúster denominado MessagingCluster con tres nodos de agente. Un JSON archivo denominado brokernodegroupinfo.json especifica las tres subredes en las que desea que Amazon distribuya MSK los nodos de los corredores. En este ejemplo no se especifica el nivel de supervisión, por lo que el clúster obtiene el DEFAULT nivel.

aws kafka create-cluster \
    --cluster-name "MessagingCluster" \
    --broker-node-group-info file://brokernodegroupinfo.json \
    --kafka-version "2.2.1" \
    --number-of-broker-nodes 3

Contenidos de brokernodegroupinfo.json:

{
    "InstanceType": "kafka.m5.xlarge",
    "BrokerAZDistribution": "DEFAULT",
    "ClientSubnets": [
        "subnet-0123456789111abcd",
        "subnet-0123456789222abcd",
        "subnet-0123456789333abcd"
    ]
}

Salida:

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterName": "MessagingCluster",
    "State": "CREATING"
}

Para obtener más información, consulte Creación de un MSK clúster de Amazon en Amazon Managed Streaming for Apache Kafka.

  • Para API obtener más información, consulte CreateClusterla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlocreate-configuration.

AWS CLI

Para crear una MSK configuración de Amazon personalizada

El siguiente create-configuration ejemplo crea una MSK configuración personalizada con las propiedades del servidor que se especifican en el archivo de entrada.

aws kafka create-configuration \
    --name "CustomConfiguration" \
    --description "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms." \
    --kafka-versions "2.2.1" \
    --server-properties file://configuration.txt

Contenidos de configuration.txt:

auto.create.topics.enable = true
zookeeper.connection.timeout.ms = 2000
log.roll.ms = 604800000

Este comando no genera ninguna salida. Salida:

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "CreationTime": "2019-10-09T15:26:05.548Z",
    "LatestRevision":
        {
            "CreationTime": "2019-10-09T15:26:05.548Z",
            "Description": "Topic autocreation enabled; Apache ZooKeeper timeout 2000 ms; Log rolling 604800000 ms.",
            "Revision": 1
        },
    "Name": "CustomConfiguration"
}

Para obtener más información, consulte Amazon MSK Configuration Operations en la Guía para desarrolladores de Amazon Managed Streaming for Apache Kafka.

  • Para API obtener más información, consulte CreateConfigurationla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlodescribe-cluster.

AWS CLI

Para describir un clúster

El siguiente describe-cluster ejemplo describe un MSK clúster de Amazon.

aws kafka describe-cluster \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Salida:

{
    "ClusterInfo": {
        "BrokerNodeGroupInfo": {
            "BrokerAZDistribution": "DEFAULT",
            "ClientSubnets": [
                "subnet-cbfff283",
                "subnet-6746046b"
            ],
            "InstanceType": "kafka.m5.large",
            "SecurityGroups": [
                "sg-f839b688"
            ],
            "StorageInfo": {
                "EbsStorageInfo": {
                    "VolumeSize": 100
                }
            }
        },
        "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
        "ClusterName": "demo-cluster-1",
        "CreationTime": "2020-07-09T02:31:36.223000+00:00",
        "CurrentBrokerSoftwareInfo": {
            "KafkaVersion": "2.2.1"
        },
        "CurrentVersion": "K3AEGXETSR30VB",
        "EncryptionInfo": {
            "EncryptionAtRest": {
                "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
            },
            "EncryptionInTransit": {
                "ClientBroker": "TLS_PLAINTEXT",
                "InCluster": true
            }
        },
        "EnhancedMonitoring": "DEFAULT",
        "OpenMonitoring": {
            "Prometheus": {
                "JmxExporter": {
                    "EnabledInBroker": false
                },
                "NodeExporter": {
                    "EnabledInBroker": false
                }
            }
        },
        "NumberOfBrokerNodes": 2,
        "State": "ACTIVE",
        "Tags": {},
        "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
    }
}

Para obtener más información, consulte la lista de MSK clústeres de Amazon en la Guía para desarrolladores de Amazon Managed Streaming for Apache Kafka.

  • Para API obtener más información, consulte DescribeClusterla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarloget-bootstrap-brokers.

AWS CLI

Para obtener corredores de bootstrap

El siguiente get-bootstrap-brokers ejemplo recupera la información del agente de arranque de un clúster de AmazonMSK.

aws kafka get-bootstrap-brokers \
    --cluster-arn arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5

Salida:

{
    "BootstrapBrokerString": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9092",
    "BootstrapBrokerStringTls": "b-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094,b-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:9094"
}

Para obtener más información, consulte Cómo obtener los agentes de Bootstrap en la Guía para desarrolladores de Amazon Managed Streaming for Apache Kafka.

  • Para API obtener más información, consulte la Referencia GetBootstrapBrokersde AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarlolist-clusters.

AWS CLI

Para enumerar los clústeres disponibles

En el siguiente list-clusters ejemplo, se muestran los MSK clústeres de Amazon de tu AWS cuenta.

aws kafka list-clusters

Salida:

{
    "ClusterInfoList": [
        {
            "BrokerNodeGroupInfo": {
                "BrokerAZDistribution": "DEFAULT",
                "ClientSubnets": [
                    "subnet-cbfff283",
                    "subnet-6746046b"
                ],
                "InstanceType": "kafka.m5.large",
                "SecurityGroups": [
                    "sg-f839b688"
                ],
                "StorageInfo": {
                    "EbsStorageInfo": {
                        "VolumeSize": 100
                    }
                }
            },
            "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/demo-cluster-1/6357e0b2-0e6a-4b86-a0b4-70df934c2e31-5",
            "ClusterName": "demo-cluster-1",
            "CreationTime": "2020-07-09T02:31:36.223000+00:00",
            "CurrentBrokerSoftwareInfo": {
                "KafkaVersion": "2.2.1"
            },
            "CurrentVersion": "K3AEGXETSR30VB",
            "EncryptionInfo": {
                "EncryptionAtRest": {
                    "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:123456789012:key/a7ca56d5-0768-4b64-a670-339a9fbef81c"
                },
                "EncryptionInTransit": {
                    "ClientBroker": "TLS_PLAINTEXT",
                    "InCluster": true
                }
            },
            "EnhancedMonitoring": "DEFAULT",
            "OpenMonitoring": {
                "Prometheus": {
                    "JmxExporter": {
                        "EnabledInBroker": false
                    },
                    "NodeExporter": {
                        "EnabledInBroker": false
                    }
                }
            },
            "NumberOfBrokerNodes": 2,
            "State": "ACTIVE",
            "Tags": {},
            "ZookeeperConnectString": "z-2.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-1.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181,z-3.demo-cluster-1.xuy0sb.c5.kafka.us-east-1.amazonaws.com:2181"
        }
    ]
}

Para obtener más información, consulte la lista de MSK clústeres de Amazon en la Guía para desarrolladores de Amazon Managed Streaming for Apache Kafka.

  • Para API obtener más información, consulte ListClustersla Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarloupdate-broker-storage.

AWS CLI

Para actualizar el EBS almacenamiento para los corredores

El siguiente update-broker-storage ejemplo actualiza la cantidad de EBS almacenamiento de todos los corredores del clúster. Amazon MSK establece la cantidad de almacenamiento objetivo para cada agente en la cantidad especificada en el ejemplo. Puede obtener la versión actual del clúster describiéndolo o enumerando todos los clústeres.

aws kafka update-broker-storage \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --current-version "K21V3IB1VIZYYH" \
    --target-broker-ebs-volume-info "KafkaBrokerNodeId=ALL,VolumeSizeGB=1100"

El resultado devuelve un ARN para esta update-broker-storage operación. Para determinar si la operación se ha completado, utilice el describe-cluster-operation comando que contiene esta información ARN como entrada.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Para obtener más información, consulte Actualización del EBS almacenamiento para intermediarios en la Guía para desarrolladores de Amazon Managed Streaming for Apache Kafka.

  • Para API obtener más información, consulte UpdateBrokerStoragela Referencia de AWS CLI comandos.

El siguiente ejemplo de código muestra cómo usarloupdate-cluster-configuration.

AWS CLI

Para actualizar la configuración de un MSK clúster de Amazon

El siguiente update-cluster-configuration ejemplo actualiza la configuración del MSK clúster existente especificado. Utiliza una MSK configuración personalizada.

aws kafka update-cluster-configuration \
    --cluster-arn "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2" \
    --configuration-info file://configuration-info.json \
    --current-version "K21V3IB1VIZYYH"

Contenidos de configuration-info.json:

{
    "Arn": "arn:aws:kafka:us-west-2:123456789012:configuration/CustomConfiguration/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "Revision": 1
}

El resultado devuelve un ARN para esta update-cluster-configuration operación. Para determinar si la operación se ha completado, utilice el describe-cluster-operation comando que contiene esta información ARN como entrada.

{
    "ClusterArn": "arn:aws:kafka:us-west-2:123456789012:cluster/MessagingCluster/a1b2c3d4-5678-90ab-cdef-11111EXAMPLE-2",
    "ClusterOperationArn": "arn:aws:kafka:us-west-2:123456789012:cluster-operation/V123450123/a1b2c3d4-1234-abcd-cdef-22222EXAMPLE-2/a1b2c3d4-abcd-1234-bcde-33333EXAMPLE"
}

Para obtener más información, consulte Actualización de la configuración de un MSK clúster de Amazon en la Guía para desarrolladores de Amazon Managed Streaming for Apache Kafka.