Menggunakan pustaka Python dengan AWS Lem

Anda dapat menginstal modul dan pustaka Python tambahan untuk digunakan dengan AWS Glue ETL. Untuk AWS Glue 2.0 dan di atasnya, AWS Glue menggunakan Python Package Installer (pip3) untuk menginstal modul tambahan yang digunakan oleh AWS Glue ETL. AWS Glue menyediakan beberapa opsi untuk membawa modul Python tambahan ke lingkungan pekerjaan AWS Glue Anda. Anda dapat menggunakan --additional-python-modules parameter untuk membawa modul baru menggunakan file zip yang berisi roda Python yang dibundel (juga dikenal sebagai “zip roda”, tersedia untuk AWS Glue 5.0 dan di atasnya), file roda Python individual, file persyaratan (requirements.txt, tersedia untuk AWS Glue 5.0 dan di atas), atau daftar modul Python yang dipisahkan koma. Ini juga dapat digunakan untuk mengubah versi modul python yang disediakan di lingkungan AWS Glue (lihat Modul Python sudah disediakan di AWS Lem untuk lebih jelasnya).

Untuk AWS Glue 5.0 dan di atasnya, cara yang disarankan untuk menginstal modul Python adalah dengan menjalankan pekerjaan Anda di lingkungan virtual Python (venv). Untuk informasi selengkapnya, lihat (Direkomendasikan) Menggunakan lingkungan virtual Python di AWS Lem 5.0 atau lebih tinggi.

(Direkomendasikan) Menggunakan lingkungan virtual Python di AWS Lem 5.0 atau lebih tinggi

Untuk AWS Glue 5.0 dan di atasnya, menjalankan pekerjaan Anda di dalam lingkungan virtual Python (venv) adalah cara yang disarankan untuk menginstal modul Python. Gunakan lingkungan virtual untuk pekerjaan baru, dan pertimbangkan untuk memindahkan pekerjaan yang ada ke satu.

Dengan --additional-python-modules sendirinya, pip menyelesaikan dependensi Anda dari PyPI setiap pekerjaan yang dijalankan, sehingga rilis upstream baru dapat mengubah apa yang diinstal pekerjaan Anda. Lingkungan virtual menyelesaikannya sekali dan menggunakan kembali hasilnya, jadi nanti jalankan instal versi yang sama. AWS Lem mendukung dua cara untuk menggunakannya, dan keduanya berbeda ketika resolusi itu terjadi dan parameter mana yang Anda tetapkan:

Untuk perbandingan kedua pendekatan, langkah-langkah migrasi untuk pekerjaan yang saat ini digunakan--additional-python-modules, dan panduan pemecahan masalah, lihatMenggunakan lingkungan virtual Python dengan AWS Lem.

Menginstal modul Python tambahan dengan pip in AWS Lem 2.0 atau yang lebih baru

AWS Glue menggunakan Python Package Installer (pip3) untuk menginstal modul tambahan untuk digunakan oleh AWS Glue ETL. Anda dapat menggunakan --additional-python-modules parameter dengan daftar modul Python yang dipisahkan koma untuk menambahkan modul baru atau mengubah versi modul yang ada. Anda dapat menginstal artefak roda buatan baik melalui ritsleting roda atau artefak roda mandiri dengan mengunggah file ke Amazon S3, lalu menyertakan jalur ke objek Amazon S3 dalam daftar modul Anda. Untuk informasi selengkapnya tentang menyetel parameter pekerjaan, lihat Menggunakan parameter pekerjaan di pekerjaan AWS lem.

Anda dapat meneruskan opsi tambahan ke pip3 dengan --python-modules-installer-option parameter. Misalnya, Anda dapat meneruskan --only-binary untuk memaksa pip untuk menginstal hanya artefak pra-bangun untuk paket yang ditentukan oleh--additional-python-modules. Untuk contoh selengkapnya, lihat Membangun modul Python dari roda untuk beban kerja Spark ETL menggunakan AWS Glue 2.0.

Praktik Terbaik untuk Manajemen Ketergantungan Python

Untuk AWS Glue 5.0 dan di atasnya, AWS Glue merekomendasikan menjalankan pekerjaan Anda di lingkungan virtual Python (venv). Alih-alih menyelesaikan dependensi Anda dari PyPI setiap pekerjaan yang dijalankan, lingkungan virtual menyelesaikannya sekali dan menggunakan kembali hasilnya, jadi nanti jalankan instal versi yang sama. Untuk informasi selengkapnya, lihat (Direkomendasikan) Menggunakan lingkungan virtual Python di AWS Lem 5.0 atau lebih tinggi.

Jika Anda menggunakan --additional-python-modules untuk beban kerja produksi, kemas semua dependensi Python Anda sebagai file roda dalam satu artefak zip. Dibandingkan dengan --additional-python-modules bentuk lain, ini menyediakan:

Pertimbangan Penting

Di bawah model tanggung jawab AWS bersama, Anda bertanggung jawab untuk mengelola modul Python tambahan, pustaka, dan dependensinya. Hal ini mencakup:

Jika Anda memiliki dependensi minimal, Anda dapat mempertimbangkan untuk menggunakan file roda individual sebagai gantinya.

Bagian berikut menjelaskan cara untuk menentukan modul dengan--additional-python-modules. Untuk AWS Glue 5.0 ke atas, pertimbangkan sebagai (Direkomendasikan) Menggunakan lingkungan virtual Python di AWS Lem 5.0 atau lebih tinggi gantinya.

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/zip-of-wheels-1.0.0.gluewheels.zip
--python-modules-installer-option --no-index

--additional-python-modules s3://amzn-s3-demo-bucket/path/to/package-1.0.0-py3-none-any.whl,s3://your-bucket/path/to/another-package-2.1.0-cp311-cp311-linux_x86_64.whl

awswrangler==3.9.1
elasticsearch==8.15.1
PyAthena==3.9.0
PyMySQL==1.1.1
PyYAML==6.0.2
pyodbc==5.2.0
pyorc==0.9.0
redshift-connector==2.1.3
scipy==1.14.1
scikit-learn==1.5.2
SQLAlchemy==2.0.36

Termasuk file Python dengan fitur PySpark asli

AWS Glue digunakan PySpark untuk menyertakan file Python dalam pekerjaan AWS Glue ETL. Anda akan ingin menggunakannya --additional-python-modules untuk mengelola dependensi Anda jika tersedia. Anda dapat menggunakan parameter --extra-py-files pekerjaan untuk menyertakan file Python. Dependensi harus di-host di Amazon S3 dan nilai argumen harus berupa daftar jalur Amazon S3 yang dibatasi koma tanpa spasi. Fungsi ini berperilaku seperti manajemen ketergantungan Python yang akan Anda gunakan dengan Spark. Untuk informasi selengkapnya tentang manajemen ketergantungan Python di Spark, lihat halaman Menggunakan Fitur PySpark Asli di dokumentasi Apache Spark. --extra-py-filesberguna dalam kasus di mana kode tambahan Anda tidak dikemas, atau ketika Anda memigrasikan program Spark dengan rantai alat yang ada untuk mengelola dependensi. Agar alat ketergantungan Anda dapat dipertahankan, Anda harus menggabungkan dependensi Anda sebelum mengirimkan.

Skrip pemrograman yang menggunakan transformasi visual

Saat Anda membuat pekerjaan AWS Glue menggunakan antarmuka visual AWS Glue Studio, Anda dapat mengubah data Anda dengan node transformasi data terkelola dan transformasi visual khusus. Untuk informasi selengkapnya tentang node transformasi data terkelola, lihatTransformasi data dengan transformasi AWS Glue terkelola. Untuk informasi selengkapnya tentang transformasi visual kustom, lihatMengubah data dengan transformasi visual kustom. Skrip yang menggunakan transformasi visual hanya dapat dihasilkan ketika Bahasa pekerjaan Anda diatur untuk menggunakan Python.

Saat membuat pekerjaan AWS Glue menggunakan transformasi visual, AWS Glue Studio akan menyertakan transformasi ini di lingkungan runtime menggunakan --extra-py-files parameter dalam konfigurasi pekerjaan. Untuk informasi selengkapnya tentang parameter pekerjaan, lihatMenggunakan parameter pekerjaan di AWS Lowongan kerja Glue. Saat membuat perubahan pada skrip atau lingkungan runtime yang dihasilkan, Anda harus mempertahankan konfigurasi pekerjaan ini agar skrip Anda berjalan dengan sukses.

Pustaka zip untuk dimasukkan

Kecuali sebuah perpustakaan terkandung dalam satu file .py, ia harus dikemas dalam sebuah arsip .zip. Direktori paket harus berada pada akar dari arsip, dan harus berisi file __init__.py untuk paket. Python kemudian akan dapat mengimpor paket tersebut dengan cara normal.

Jika perpustakaan anda hanya terdiri dari sebuah modul Python tunggal dalam satu file .py, Anda tidak perlu menempatkannya dalam sebuah file .zip.

Memuat pustaka Python di AWS Notebook Glue Studio

Untuk menentukan pustaka Python di buku catatan AWS Glue Studio, lihat Menginstal modul Python tambahan.

Memuat pustaka Python di titik akhir pengembangan di AWS Lem 0. 9/1.0

Jika Anda menggunakan set perpustakaan yang berbeda untuk skrip ETL yang berbeda, maka Anda dapat mengatur titik akhir pengembangan terpisah untuk setiap set, atau Anda dapat menimpa file .zip perpustakaan yang dimuat titik akhir pengembangan Anda setiap kali Anda beralih skrip.

Anda dapat menggunakan konsol untuk menentukan satu atau beberapa perpustakaan file .zip untuk sebuah titik akhir pengembangan ketika Anda membuatnya. Setelah menetapkan nama dan IAM role, pilih Perpustakaan Skrip dan parameter tugas (opsional) dan masukkan path Amazon S3 lengkap ke file .zip perpustakaan Anda dalam kotak path perpustakaan Python. Contoh:

s3://bucket/prefix/site-packages.zip

Jika Anda mau, Anda dapat menentukan beberapa path lengkap ke file, memisahkannya dengan koma tetapi tanpa spasi, seperti ini:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Jika Anda kemudian memperbarui file .zip, Anda dapat menggunakan konsol untuk mengimpornya kembali ke titik akhir pengembangan Anda. Arahkan ke titik akhir developer yang dimaksud, centang kotak di sampingnya, dan pilih Memperbarui perpustakaan ETL dari menu Tindakan.

Dengan cara yang sama, Anda dapat menentukan file pustaka menggunakan AWS Glue API. Ketika Anda membuat sebuah titik akhir pengembangan dengan memanggil CreateDevEndpoint tindakan (Python: create_dev_endpoint), Anda dapat menentukan satu atau beberapa path lengkap ke perpustakaan di parameter ExtraPythonLibsS3Path, dalam panggilan yang terlihat seperti ini:

dep = glue.create_dev_endpoint(
             EndpointName="testDevEndpoint",
             RoleArn="arn:aws:iam::123456789012",
             SecurityGroupIds="sg-7f5ad1ff",
             SubnetId="subnet-c12fdba4",
             PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
             NumberOfNodes=3,
             ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")

Ketika Anda memperbarui titik akhir pengembangan, Anda juga dapat memperbarui perpustakaan yang dimuatnya menggunakan objek DevEndpointCustomLibraries dan pengaturan parameter UpdateEtlLibraries untuk True ketika memanggil UpdateDevEndpoint (update_dev_endpoint).

Menggunakan pustaka Python dalam pekerjaan atau JobRun

Ketika Anda membuat sebuah Tugas baru pada konsol, Anda dapat menentukan satu atau beberapa perperpustakaanan file .zip dengan memilih Perpustakaan skrip dan parameter tugas (opsional) dan memasukkan path perpustakaan Amazon S3 lengkap dengan cara yang sama saat membuat titik akhir pengembangan:

s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip

Jika Anda memanggil CreateJob (buat_pekerjaan), Anda dapat menentukan satu atau beberapa path lengkap ke perpustakaan default menggunakan parameter --extra-py-files default, seperti ini:

job = glue.create_job(Name='sampleJob',
                      Role='Glue_DefaultRole',
                      Command={'Name': 'glueetl',
                               'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
                      DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})

Kemudian ketika Anda memulai JobRun, Anda dapat mengganti pengaturan pustaka default dengan yang berbeda:

runId = glue.start_job_run(JobName='sampleJob',
                           Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})

Secara proaktif menganalisis dependensi Python

Untuk secara proaktif mengidentifikasi potensi masalah ketergantungan sebelum menerapkan ke AWS Glue, Anda dapat menggunakan alat analisis ketergantungan untuk memvalidasi paket Python Anda terhadap lingkungan Glue target AWS Anda.

AWS menyediakan alat penganalisis ketergantungan Python sumber terbuka yang dirancang khusus untuk lingkungan AWS Glue. Alat ini tersedia di repositori sampel AWS Glue dan dapat digunakan secara lokal untuk memvalidasi dependensi Anda sebelum penerapan.

Analisis ini membantu memastikan dependensi Anda mengikuti praktik yang disarankan untuk menyematkan semua versi pustaka untuk penerapan produksi yang konsisten. Untuk lebih jelasnya, silakan lihat README alat.

# Analyze a single Glue job
python glue_dependency_analyzer.py -j my-glue-job

# Analyze multiple jobs with specific AWS configuration
python glue_dependency_analyzer.py -j job1 -j job2 --aws-profile production --aws-region us-west-2

I have an AWS Glue job named <Job-Name> that has failed due to Python module installation conflicts. Please assist in diagnosing and resolving this issue using the following systematic approach. Proceed once sufficient information is available.

Objective: Implement a fix that addresses the root cause module while minimizing disruption to the existing working environment.

Step 1: Root Cause Analysis
• Retrieve the most recent failed job run ID for the specified Glue job
• Extract error logs from CloudWatch Logs using the job run ID as a log stream prefix
• Analyze the logs to identify:
  • The recently added or modified Python module that triggered the dependency conflict
  • The specific dependency chain causing the installation failure
  • Version compatibility conflicts between required and existing modules

Step 2: Baseline Configuration Identification
• Locate the last successful job run ID prior to the dependency failure
• Document the Python module versions that were functioning correctly in that baseline run
• Establish the compatible version constraints for conflicting dependencies

Step 3: Targeted Resolution Implementation
• Apply pinning by updating the job's additional_python_modules parameter
• Pin only the root cause module and its directly conflicting dependencies to compatible versions, and do not remove python modules unless necessary
• Preserve flexibility for non-conflicting modules by avoiding unnecessary version constraints
• Deploy the configuration changes with minimal changes to the existing configuration and execute a validation test run. Do not change the Glue versions.

Implementation Example:
Scenario: Recently added pandas==2.0.0 to additional_python_modules
Error: numpy version conflict (pandas 2.0.0 requires numpy>=1.21, but existing job code requires numpy<1.20)
Resolution: Update additional_python_modules to "pandas==1.5.3,numpy==1.19.5"
Rationale: Use pandas 1.5.3 (compatible with numpy 1.19.5) and pin numpy to last known working version

Expected Outcome: Restore job functionality with minimal configuration changes while maintaining system stability.

Modul Python sudah disediakan di AWS Lem

Untuk mengubah versi modul yang disediakan ini, berikan versi baru dengan parameter --additional-python-modules pekerjaan.

Lampiran A: Membuat Artefak Ritsleting Roda

Kami mendemonstrasikan dengan contoh cara membuat artefak ritsleting roda. Contoh yang ditampilkan mengunduh paket cryptography dan scipy ke artefak ritsleting roda dan menyalin ritsleting roda ke lokasi Amazon S3.

Lampiran B: AWS Detail lingkungan lem

Di bawah model tanggung jawab AWS bersama, Anda bertanggung jawab atas pengelolaan modul Python tambahan, pustaka, dan dependensinya yang Anda gunakan dengan pekerjaan AWS Glue ETL Anda. Ini termasuk menerapkan pembaruan dan patch keamanan.

AWS Glue tidak mendukung kompilasi kode asli di lingkungan kerja. Namun, pekerjaan AWS Glue berjalan dalam lingkungan Amazon-managed Linux. Anda mungkin dapat memberikan dependensi asli Anda dalam bentuk yang dikompilasi melalui file roda Python. Silakan merujuk ke tabel di atas untuk detail kompatibilitas versi AWS Glue.