Gunakan pustaka Python di Athena untuk Spark - Amazon Athena
KetentuanManajemen siklus hidup

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Gunakan pustaka Python di Athena untuk Spark

Halaman ini menjelaskan terminologi yang digunakan dan manajemen siklus hidup yang diikuti untuk runtime, pustaka, dan paket yang digunakan di Amazon Athena untuk Apache Spark.

Ketentuan

  • Amazon Athena untuk Apache Spark adalah versi khusus dari Apache Spark open source. Untuk melihat versi saat ini, jalankan perintah print(f'{spark.version}') di sel notebook.

  • Runtime Athena adalah lingkungan tempat kode Anda berjalan. Lingkungan mencakup penerjemah Python dan perpustakaan. PySpark

  • Pustaka atau paket eksternal adalah pustaka Java JAR atau Scala atau Python yang bukan bagian dari runtime Athena tetapi dapat dimasukkan dalam Athena untuk pekerjaan Spark. Paket eksternal dapat dibuat oleh Amazon atau oleh Anda.

  • Paket kenyamanan adalah kumpulan paket eksternal yang dipilih oleh Athena yang dapat Anda pilih untuk disertakan dalam aplikasi Spark Anda.

  • Sebuah bundel menggabungkan runtime Athena dan paket kenyamanan.

  • Pustaka pengguna adalah pustaka atau paket eksternal yang Anda tambahkan secara eksplisit ke pekerjaan Athena for Spark Anda.

    • Pustaka pengguna adalah paket eksternal yang bukan bagian dari paket kenyamanan. Pustaka pengguna memerlukan pemuatan dan instalasi, seperti ketika Anda menulis beberapa .py file, zip mereka, dan kemudian menambahkan .zip file ke aplikasi Anda.

  • Aplikasi Athena untuk Spark adalah pekerjaan atau pertanyaan yang Anda kirimkan ke Athena untuk Spark.

Manajemen siklus hidup

Bagian berikut menjelaskan kebijakan pembuatan versi dan penghentian terkait paket runtime dan kenyamanan yang digunakan di Athena untuk Spark.

Versi runtime dan penghentian

Komponen utama dalam runtime Athena adalah penerjemah Python. Karena Python adalah bahasa yang berkembang, versi baru dirilis secara teratur dan dukungan dihapus untuk versi yang lebih lama. Athena tidak menyarankan Anda menjalankan program dengan versi penerjemah Python yang tidak digunakan lagi dan sangat menyarankan agar Anda menggunakan runtime Athena terbaru bila memungkinkan.

Jadwal penghentian runtime Athena adalah sebagai berikut:

  1. Setelah Athena memberikan runtime baru, Athena akan terus mendukung runtime sebelumnya selama 6 bulan. Selama waktu itu, Athena akan menerapkan patch keamanan dan pembaruan ke runtime sebelumnya.

  2. Setelah 6 bulan, Athena akan mengakhiri dukungan untuk runtime sebelumnya. Athena tidak akan lagi menerapkan patch keamanan dan pembaruan lainnya ke runtime sebelumnya. Aplikasi Spark yang menggunakan runtime sebelumnya tidak lagi memenuhi syarat untuk dukungan teknis.

  3. Setelah 12 bulan, Anda tidak akan lagi dapat memperbarui atau mengedit aplikasi Spark di workgroup yang menggunakan runtime sebelumnya. Kami menyarankan Anda memperbarui aplikasi Spark Anda sebelum periode waktu ini berakhir. Setelah periode waktu berakhir, Anda masih dapat menjalankan notebook yang ada, tetapi notebook apa pun yang masih menggunakan runtime sebelumnya akan mencatat peringatan untuk efek itu.

  4. Setelah 18 bulan, Anda tidak akan lagi dapat menjalankan pekerjaan di grup kerja menggunakan runtime sebelumnya.

Pembuatan versi dan penghentian paket kenyamanan

Isi paket kenyamanan berubah seiring waktu. Athena sesekali menambahkan, menghapus, atau meningkatkan paket kenyamanan ini.

Athena menggunakan panduan berikut untuk paket kenyamanan:

  • Paket kenyamanan memiliki skema versi sederhana seperti 1, 2, 3.

  • Setiap versi paket kenyamanan mencakup versi spesifik dari paket eksternal. Setelah Athena membuat paket kenyamanan, paket paket kenyamanan paket eksternal dan versi yang sesuai tidak berubah.

  • Athena membuat versi paket kenyamanan baru ketika menyertakan paket eksternal baru, menghapus paket eksternal, atau meningkatkan versi satu atau lebih paket eksternal.

Athena menghentikan paket kenyamanan saat menghentikan runtime Athena yang digunakan paket tersebut. Athena dapat menghentikan paket lebih cepat untuk membatasi jumlah bundel yang didukungnya.

Jadwal penghentian paket kenyamanan mengikuti jadwal penghentian runtime Athena.