Meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark

Untuk menggunakan integrasi dengan EMR Serverless 6.9.0, Anda harus meneruskan dependensi Spark-Redshift yang diperlukan dengan pekerjaan Spark Anda. Gunakan --jars untuk menyertakan pustaka terkait konektor Redshift. Untuk melihat lokasi file lain yang didukung oleh --jars opsi, lihat bagian Advanced Dependency Management dari dokumentasi Apache Spark.

  • spark-redshift.jar

  • spark-avro.jar

  • RedshiftJDBC.jar

  • minimal-json.jar

Amazon EMR merilis 6.10.0 dan yang lebih tinggi tidak memerlukan minimal-json.jar dependensi, dan secara otomatis menginstal dependensi lain ke setiap cluster secara default. Contoh berikut menunjukkan cara meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark.

Amazon EMR 6.10.0 +

Luncurkan pekerjaan Spark di Amazon EMR Tanpa Server dengan integrasi Amazon Redshift untuk Apache Spark pada rilis Tanpa Server 6.10.0 dan yang lebih tinggi. EMR

spark-submit my_script.py
Amazon EMR 6.9.0

Untuk meluncurkan pekerjaan Spark di Amazon EMR Tanpa Server dengan integrasi Amazon Redshift untuk Apache Spark pada rilis EMR Tanpa Server 6.9.0, gunakan opsi seperti yang ditunjukkan pada contoh berikut. --jars Perhatikan bahwa jalur yang tercantum dengan --jars opsi adalah jalur default untuk JAR file.

--jars 
    /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,
    /usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,
    /usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,
    /usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar
spark-submit \
  --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,/usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar \
  my_script.py