Configuration du connecteur de réception Amazon S3 - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration du connecteur de réception Amazon S3

Cet exemple montre comment utiliser le connecteur récepteur Amazon S3 Confluent et comment AWS CLI créer un connecteur récepteur Amazon S3 dans MSK Connect.

  1. Copiez ce qui suit JSON et collez-le dans un nouveau fichier. Remplacez les chaînes d'espace réservé par des valeurs correspondant à la chaîne de connexion aux serveurs bootstrap de votre MSK cluster Amazon ainsi qu'au sous-réseau et au groupe de sécurité du cluster. IDs Pour plus d'informations sur la configuration d'un rôle d'exécution de service, consultez IAMrôles et politiques pour MSK Connect.

    {
    "connectorConfiguration": {
        "connector.class": "io.confluent.connect.s3.S3SinkConnector",
        "s3.region": "us-east-1",
        "format.class": "io.confluent.connect.s3.format.json.JsonFormat",
        "flush.size": "1",
        "schema.compatibility": "NONE",
        "topics": "my-test-topic",
        "tasks.max": "2",
        "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
        "storage.class": "io.confluent.connect.s3.storage.S3Storage",
        "s3.bucket.name": "my-test-bucket"
    },
    "connectorName": "example-S3-sink-connector",
    "kafkaCluster": {
        "apacheKafkaCluster": {
            "bootstrapServers": "<cluster-bootstrap-servers-string>",
            "vpc": {
                "subnets": [
                    "<cluster-subnet-1>",
                    "<cluster-subnet-2>",
                    "<cluster-subnet-3>"
                ],
                "securityGroups": ["<cluster-security-group-id>"]
            }
        }
    },
    "capacity": {
        "provisionedCapacity": {
            "mcuCount": 2,
            "workerCount": 4
        }
    },
    "kafkaConnectVersion": "2.7.1",
    "serviceExecutionRoleArn": "<arn-of-a-role-that-msk-connect-can-assume>",
    "plugins": [
        {
            "customPlugin": {
                "customPluginArn": "<arn-of-custom-plugin-that-contains-connector-code>",
                "revision": 1
            }
        }
    ],
    "kafkaClusterEncryptionInTransit": {"encryptionType": "PLAINTEXT"},
    "kafkaClusterClientAuthentication": {"authenticationType": "NONE"}
}

  2. Exécutez la AWS CLI commande suivante dans le dossier où vous avez enregistré le JSON fichier à l'étape précédente.

    aws kafkaconnect create-connector --cli-input-json file://connector-info.json

    Voici un exemple du résultat que vous obtenez lorsque vous exécutez la commande.

    {
    "ConnectorArn": "arn:aws:kafkaconnect:us-east-1:123450006789:connector/example-S3-sink-connector/abc12345-abcd-4444-a8b9-123456f513ed-2", 
    "ConnectorState": "CREATING", 
    "ConnectorName": "example-S3-sink-connector"
}