Apache Spark

Apache Spark adalah kerangka kerja pemrosesan terdistribusi dan model pemrograman yang membantu Anda melakukan pembelajaran mesin, pemrosesan aliran, atau analisis grafik dengan cluster Amazon EMR. Mirip dengan Apache Hadoop, Spark merupakan sistem pemrosesan terdistribusi sumber terbuka, yang biasa digunakan untuk beban kerja big data. Namun, Spark memiliki beberapa perbedaan penting dari Hadoop MapReduce. Spark memiliki dioptimalkan diarahkan asiklik mesin eksekusi graf (DAG) dan aktif cache data dalam memori, yang dapat meningkatkan kinerja, terutama untuk algoritma tertentu dan query interaktif.

Spark native mendukung aplikasi yang ditulis dalam Scala, Python, dan Java. Ini juga mencakup beberapa pustaka yang terintegrasi erat untuk SQL (Spark), pembelajaran mesin (MLLib), pemrosesan aliran (Spark streaming), dan pemrosesan grafik (GraphX). Alat-alat ini membuatnya lebih mudah untuk memanfaatkan kerangka Spark untuk berbagai kasus penggunaan.

Anda dapat menginstal Spark pada cluster Amazon EMR bersama dengan aplikasi Hadoop lainnya, dan juga dapat memanfaatkan sistem file Amazon EMR (EMRFS) untuk mengakses data secara langsung di Amazon S3. Hive juga terintegrasi dengan Spark sehingga Anda dapat menggunakan HiveContext objek untuk menjalankan skrip Hive menggunakan Spark. Sebuah konteks Hive termasuk dalam percikan-shell sebagai sqlContext.

Untuk contoh tutorial tentang menyiapkan cluster EMR dengan Spark dan menganalisis kumpulan data sampel, lihat Tutorial: Memulai dengan Amazon EMR di blog AWS Berita.

Anda dapat menggunakan Agen Pemecahan Masalah Apache Spark untuk memecahkan masalah aplikasi Apache Spark pada EMR di EC2, Amazon EMR Serverless, dan EMR di EKS. Untuk mempelajari selengkapnya, lihat Apa itu Agen Pemecahan Masalah Apache Spark untuk Amazon EMR dan AWS Lem.

Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang diinstal Amazon EMR dengan Spark.

Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Versi Komponen Rilis 7.13.0.

Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang diinstal Amazon EMR dengan Spark.

Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Versi Komponen Rilis 6.15.0.

Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang diinstal Amazon EMR dengan Spark.

Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Versi Komponen Rilis 5.36.2.