Amazon MSK - Amazon Timestream
Utiliser le service géré Amazon pour Apache FlinkUtilisation de Kafka Connect

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon MSK

Utilisation du service géré pour Apache Flink pour envoyer des Amazon MSK données à Timestream pour LiveAnalytics

Vous pouvez envoyer des données de Amazon MSK à Timestream en créant un connecteur de données similaire à l'exemple de connecteur de Timestream données pour Managed Service for Apache Flink. Pour plus d’informations, consultez la section Service géré Amazon pour Apache Flink.

Utiliser Kafka Connect pour envoyer des MSK données Amazon à Timestream pour LiveAnalytics

Vous pouvez utiliser Kafka Connect pour ingérer les données de vos séries chronologiques Amazon MSK directement dans Timestream for. LiveAnalytics

Nous avons créé un exemple de connecteur Kafka Sink pour Timestream. Nous avons également créé un exemple de plan de jMeter test Apache pour publier des données sur un sujet Kafka, afin que les données puissent être transmises du sujet via le connecteur Timestream Kafka Sink vers un flux temporel pour une table. LiveAnalytics Tous ces artefacts sont disponibles sur GitHub.

Note

Java 11 est la version recommandée pour utiliser le connecteur Timestream Kafka Sink. Si vous disposez de plusieurs versions de Java, assurez-vous d'exporter Java 11 vers votre variable d'HOMEenvironnement JAVA _.

Création d'un exemple d'application

Pour commencer, suivez la procédure ci-dessous.

  1. Dans Timestream for LiveAnalytics, créez une base de données portant le nom. kafkastream

    Consultez la procédure Créer une base de données pour obtenir des instructions détaillées.

  2. Dans Timestream for LiveAnalytics, créez une table portant le nom. purchase_history

    Consultez la procédure Créer une table pour obtenir des instructions détaillées.

  3. Suivez les instructions partagées dans le pour créer les éléments suivants :, et.

    • Un Amazon MSK cluster

    • Une Amazon EC2 instance configurée en tant que machine cliente du producteur Kafka

    • Un sujet de Kafka

    Consultez les prérequis du projet kafka_ingestor pour des instructions détaillées.

  4. Clonez le référentiel Timestream Kafka Sink Connector.

    Consultez la section Clonage d'un dépôt GitHub pour obtenir des instructions détaillées.

  5. Compilez le code du plugin.

    Voir Connector - Build from source on GitHub pour des instructions détaillées.

  6. Téléchargez les fichiers suivants dans un compartiment S3 : en suivant les instructions décrites dans.

    • Le fichier jar (kafka-connector-timestream-> VERSION <- jar-with-dependencies .jar) du répertoire /target

    • Exemple de fichier de schéma JSON,purchase_history.json.

    Consultez la section Chargement d'objets dans le guide de Amazon S3 l'utilisateur pour obtenir des instructions détaillées.

  7. Créez deux VPC points de terminaison. Ces points de terminaison seraient utilisés par le MSK connecteur pour accéder aux ressources à l'aide AWS PrivateLink de.

    • Un pour accéder au Amazon S3 compartiment

    • Un pour accéder au Timestream de la table. LiveAnalytics

    Voir VPCEndpoints pour des instructions détaillées.

  8. Créez un plugin personnalisé avec le fichier jar téléchargé.

    Consultez la section Plugins dans le guide du Amazon MSK développeur pour obtenir des instructions détaillées.

  9. Créez une configuration de travail personnalisée avec le JSON contenu décrit dans Paramètres de configuration de travail. En suivant les instructions décrites dans

    Consultez la section Création d'une configuration de travail personnalisée dans le Guide du Amazon MSK développeur pour obtenir des instructions détaillées.

  10. Créez un IAM rôle d'exécution de service.

    Reportez-vous à la section IAM Service Role pour obtenir des instructions détaillées.

  11. Créez un Amazon MSK connecteur avec le plugin personnalisé, la configuration de travail personnalisée et le IAM rôle d'exécution de service créés dans les étapes précédentes et avec l'exemple de configuration du connecteur.

    Reportez-vous à la section Création d'un connecteur dans le guide du Amazon MSK développeur pour obtenir des instructions détaillées.

    Assurez-vous de mettre à jour les valeurs des paramètres de configuration ci-dessous avec les valeurs respectives. Voir Paramètres de configuration du connecteur pour plus de détails.

    • aws.region

    • timestream.schema.s3.bucket.name

    • timestream.ingestion.endpoint

    La création du connecteur prend 5 à 10 minutes. Le pipeline est prêt lorsque son statut passe àRunning.

  12. Publiez un flux continu de messages pour écrire des données sur le sujet Kafka créé.

    Consultez la section Comment l'utiliser pour obtenir des instructions détaillées.

  13. Exécutez une ou plusieurs requêtes pour vous assurer que les données sont envoyées depuis la Amazon MSK table MSK Connect to the Timestream for LiveAnalytics .

    Consultez la procédure Exécuter une requête pour obtenir des instructions détaillées.

Ressources supplémentaires

Le blog Real-time serverless data ingestion from your Kafka clusters into Timestream for using LiveAnalytics Kafka Connect explique la configuration d'un end-to-end pipeline à l'aide du connecteur Timestream for LiveAnalytics Kafka Sink, en partant d'une machine cliente du producteur Kafka qui utilise le plan de jMeter test Apache pour publier des milliers d'exemples de messages sur un sujet Kafka pour vérifier les enregistrements ingérés dans un Timestream pour une table. LiveAnalytics