Gunakan properti Spark untuk menentukan konfigurasi kustom - Amazon Athena
Menggunakan konsol AthenaMenggunakan AWS CLI atau Athena API

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan properti Spark untuk menentukan konfigurasi kustom

Saat membuat atau mengedit sesi di Amazon Athena untuk Apache Spark, Anda dapat menggunakan properti Spark untuk menentukan .jar file, paket, atau konfigurasi khusus lainnya untuk sesi tersebut. Untuk menentukan properti Spark Anda, Anda dapat menggunakan konsol Athena, AWS CLI, atau AthenaAPI.

Gunakan konsol Athena untuk menentukan properti Spark

Di konsol Athena, Anda dapat menentukan properti Spark saat membuat buku catatan atau mengedit sesi saat ini.

Untuk menambahkan properti di kotak dialog Buat buku catatan atau Edit detail sesi

  1. Perluas properti Spark.

  2. Untuk menambahkan properti Anda, gunakan JSON opsi Edit dalam tabel atau Edit di.

    • Untuk opsi Edit dalam tabel, pilih Tambahkan properti untuk menambahkan properti, atau pilih Hapus untuk menghapus properti. Gunakan kotak Kunci dan Nilai untuk memasukkan nama properti dan nilainya.

      • Untuk menambahkan .jar file kustom, gunakan spark.jars properti.

      • Untuk menentukan file paket, gunakan spark.jars.packages properti.

    • Untuk memasukkan dan mengedit konfigurasi Anda secara langsung, pilih JSON opsi Edit di. Di editor JSON teks, Anda dapat melakukan tugas-tugas berikut:

      • Pilih Salin untuk menyalin JSON teks ke clipboard.

      • Pilih Hapus untuk menghapus semua teks dari JSON editor.

      • Pilih ikon pengaturan (roda gigi) untuk mengonfigurasi pembungkus garis atau pilih tema warna untuk JSON editor.

Catatan

  • Anda dapat mengatur properti di Athena untuk Spark, yang sama dengan mengatur properti Spark langsung pada objek. SparkConf

  • Mulai semua properti Spark dengan spark. awalan. Properti dengan awalan lain diabaikan.

  • Tidak semua properti Spark tersedia untuk konfigurasi khusus di Athena. Jika Anda mengirimkan StartSession permintaan yang memiliki konfigurasi terbatas, sesi gagal dimulai.

    • Anda tidak dapat menggunakan spark.athena. awalan karena sudah dicadangkan.

Gunakan AWS CLI atau Athena API untuk menyediakan konfigurasi khusus

Untuk menggunakan AWS CLI atau Athena API untuk menyediakan konfigurasi sesi Anda, gunakan StartSessionAPItindakan atau perintah CLIstart-session. Dalam StartSession permintaan Anda, gunakan SparkProperties bidang EngineConfigurationobjek untuk meneruskan informasi konfigurasi Anda dalam JSON format. Ini memulai sesi dengan konfigurasi yang Anda tentukan. Untuk sintaks permintaan, lihat StartSessiondi Referensi Amazon API Athena.