Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan konektor Amazon Kinesis Data Streams streaming terstruktur Spark
Amazon EMR merilis 7.1.0 dan yang lebih tinggi termasuk konektor streaming Amazon Kinesis Data Streams terstruktur percikan dalam gambar rilis. Dengan konektor ini, Anda dapat menggunakan Spark di Amazon EMR untuk memproses data yang disimpan di Amazon Kinesis Data Streams. Konektor mendukung kedua jenis konsumen GetRecords
(throughput bersama) dan SubscribeToShard
(fan-out yang ditingkatkan). Integrasi ini didasarkan pada
spark-sql-kinesis-connector
Contoh berikut menunjukkan cara menggunakan konektor untuk meluncurkan aplikasi Spark dengan Amazon EMR
spark-submit
my_kinesis_streaming_script.py