Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation du connecteur Amazon Kinesis Data Streams pour le streaming structuré Spark
Les EMR versions 7.1.0 et supérieures d'Amazon incluent un connecteur Amazon Kinesis Data Streams de streaming structuré Spark dans l'image de publication. Avec ce connecteur, vous pouvez utiliser Spark on Amazon EMR pour traiter les données stockées dans Amazon Kinesis Data Streams. Le connecteur prend en charge à la fois les types de consommation GetRecords (débit partagé) et SubscribeToShard (ventilation améliorée). Cette intégration est basée sur le
spark-sql-kinesis-connector
L'exemple suivant montre comment utiliser le connecteur pour lancer une application Spark avec Amazon EMR
spark-submitmy_kinesis_streaming_script.py
