Apache Spark - Amazon Kinesis Data Streams

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apache Spark

Apache Spark adalah mesin analitik terpadu untuk pemrosesan data skala besar. Ini menyediakan tingkat tinggi APIs di Java, Scala, Python dan R, dan mesin yang dioptimalkan yang mendukung grafik eksekusi umum. Anda dapat menggunakan Apache Spark untuk membangun aplikasi pemrosesan aliran yang menggunakan data dalam aliran data Kinesis Anda.

Untuk menggunakan aliran data Kinesis menggunakan Apache Spark Structured Streaming, gunakan konektor Amazon Kinesis Data Streams. Konektor ini mendukung konsumsi dengan Enhanced Fan-Out, yang menyediakan aplikasi Anda dengan throughput baca khusus hingga 2 MB data per detik per pecahan. Untuk informasi selengkapnya, lihat Mengembangkan Konsumen Kustom dengan Throughput Khusus (Enhanced Fan-Out).

Untuk menggunakan aliran data Kinesis menggunakan Spark Streaming, lihat Spark Streaming + Integrasi Kinesis.