Pilih preferensi cookie Anda

Kami menggunakan cookie penting serta alat serupa yang diperlukan untuk menyediakan situs dan layanan. Kami menggunakan cookie performa untuk mengumpulkan statistik anonim sehingga kami dapat memahami cara pelanggan menggunakan situs dan melakukan perbaikan. Cookie penting tidak dapat dinonaktifkan, tetapi Anda dapat mengklik “Kustom” atau “Tolak” untuk menolak cookie performa.

Jika Anda setuju, AWS dan pihak ketiga yang disetujui juga akan menggunakan cookie untuk menyediakan fitur situs yang berguna, mengingat preferensi Anda, dan menampilkan konten yang relevan, termasuk iklan yang relevan. Untuk menerima atau menolak semua cookie yang tidak penting, klik “Terima” atau “Tolak”. Untuk membuat pilihan yang lebih detail, klik “Kustomisasi”.

Preferensi
Hubungi Kami
Umpan Balik
AWS Documentation
Buat Akun AWS

Apache Spark

PDF
RSS
Mode fokus
Apache Spark - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apache Spark adalah kerangka kerja pemrosesan terdistribusi dan model pemrograman yang membantu Anda melakukan pembelajaran mesin, pemrosesan streaming, atau analisis grafik dengan kluster EMR Amazon. Mirip dengan Apache Hadoop, Spark merupakan sistem pemrosesan terdistribusi sumber terbuka, yang biasa digunakan untuk beban kerja big data. Namun, Spark memiliki beberapa perbedaan penting dari Hadoop. MapReduce Spark memiliki dioptimalkan diarahkan asiklik mesin eksekusi graf (DAG) dan aktif cache data dalam memori, yang dapat meningkatkan kinerja, terutama untuk algoritma tertentu dan query interaktif.

Spark native mendukung aplikasi yang ditulis dalam Scala, Python, dan Java. Ini juga mencakup beberapa perpustakaan yang terintegrasi erat untuk SQL (Spark), pembelajaran mesin (), pemrosesan aliran (streaming Spark MLlib), dan pemrosesan grafik (GraphX). Alat-alat ini membuatnya lebih mudah untuk memanfaatkan kerangka Spark untuk berbagai kasus penggunaan.

Anda dapat menginstal Spark pada cluster EMR Amazon bersama dengan aplikasi Hadoop lainnya, dan juga dapat memanfaatkan sistem file Amazon EMR (EMRFS) untuk langsung mengakses data di Amazon S3. Hive juga terintegrasi dengan Spark sehingga Anda dapat menggunakan HiveContext objek untuk menjalankan skrip Hive menggunakan Spark. Sebuah konteks Hive termasuk dalam percikan-shell sebagai sqlContext.

Untuk contoh tutorial tentang menyiapkan cluster EMR dengan Spark dan menganalisis kumpulan data sampel, lihat Tutorial: Memulai Amazon EMR di blog Berita. AWS

penting

Apache Spark versi 2.3.1, tersedia dimulai dengan Amazon EMR rilis 5.16.0, alamat CVE-2018-8024 dan CVE-2018-1334. Kami merekomendasikan Anda memigrasi versi Spark sebelumnya ke Spark versi 2.3.1 atau versi yang lebih baru.

Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang dipasang Amazon EMR dengan Spark.

Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Rilis Versi Komponen 7.8.0.

Informasi versi Spark untuk emr-7.8.0
Label Rilis Amazon EMR Versi Spark Komponen Dipasang Dengan Spark

emr-7.8.0

Spark 3.5.4

delta, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, iceberg, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave

Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang dipasang Amazon EMR dengan Spark.

Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Rilis Versi Komponen 6.15.0.

Informasi versi Spark untuk emr-6.15.0
Label Rilis Amazon EMR Versi Spark Komponen Dipasang Dengan Spark

emr-6.15.0

Spark 3.4.1

aws-sagemaker-spark-sdk, delta, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, iceberg, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave
catatan

Amazon EMR rilis 6.8.0 hadir dengan Apache Spark 3.3.0. Rilis Spark ini menggunakan Apache Log4j 2 dan log4j2.properties file untuk mengkonfigurasi Log4j dalam proses Spark. Jika Anda menggunakan Spark di cluster atau membuat kluster EMR dengan parameter konfigurasi kustom, dan Anda ingin meningkatkan ke Amazon EMR rilis 6.8.0, Anda harus bermigrasi ke klasifikasi konfigurasi spark-log4j2 baru dan format kunci untuk Apache Log4j 2. Untuk informasi selengkapnya, lihat Migrasi dari Apache Log4j 1.x ke Log4j 2.x.

Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang dipasang Amazon EMR dengan Spark.

Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Rilis 5.36.2 Versi Komponen.

Informasi versi Spark untuk emr-5.36.2
Label Rilis Amazon EMR Versi Spark Komponen Dipasang Dengan Spark

emr-5.36.2

Spark 2.4.8

aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave
Topik
PrivasiSyarat situsPreferensi cookie
© 2025, Amazon Web Services, Inc. atau afiliasinya. Semua hak dilindungi undang-undang.