Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
AWS meluncurkan pekerjaan shell AWS Glue Python pada tahun 2018 AWS meluncurkan pekerjaan shell Glue AWS Python pada tahun 2018 untuk memberi pelanggan cara mudah menjalankan skrip Python untuk pekerjaan ETL small-to-medium berukuran, dan untuk memicu kueri SQL. Namun, sekarang ada opsi yang lebih modern dan fleksibel untuk mengatasi beban kerja yang sedang PythonShell berjalan. Topik ini menjelaskan cara memigrasikan beban kerja Anda dari pekerjaan shell Glue AWS Python ke salah satu opsi alternatif ini untuk memanfaatkan kemampuan baru yang tersedia.
Topik ini menjelaskan cara bermigrasi dari pekerjaan shell AWS Glue Python ke opsi alternatif.
Migrasi beban kerja ke pekerjaan AWS Glue Spark
AWS Glue Spark dan PySpark pekerjaan memungkinkan Anda menjalankan beban kerja Anda secara terdistribusi. Karena pekerjaan AWS Glue Python Shell dan pekerjaan AWS Glue Spark berjalan pada platform yang sama, mudah untuk bermigrasi, dan Anda dapat terus menggunakan fitur AWS Glue yang ada yang Anda gunakan dengan pekerjaan Python Shell, seperti Glue AWS Workflows, Glue AWS Triggers, Amazon EventBridge integrasi Glue, instalasi paket berbasis AWS \ Pip, dan sebagainya.
Namun, pekerjaan AWS Glue Spark dirancang untuk menjalankan beban kerja Spark, dan jumlah minimum pekerja adalah 2. Jika Anda bermigrasi dari pekerjaan Python Shell tanpa memodifikasi skrip Anda, hanya satu pekerja yang akan benar-benar digunakan, dan pekerja lainnya akan tetap menganggur. Ini akan meningkatkan biaya Anda.
Untuk membuatnya efisien, tulis ulang skrip pekerjaan Python Anda untuk memanfaatkan kemampuan Spark dan mendistribusikan beban kerja ke beberapa pekerja. Jika skrip Python Anda berbasis Pandas, mudah untuk bermigrasi menggunakan API Pandas Baru di Spark. Pelajari lebih lanjut tentang ini di AWS Big Data Blog: Selami jauh ke dalam AWS Glue 4.0 untuk Apache Spark
Migrasi beban kerja ke AWS Lambda
AWS Lambda adalah layanan komputasi tanpa server yang memungkinkan Anda menjalankan kode tanpa menyediakan atau mengelola server. Karena AWS Lambda memiliki waktu startup yang lebih rendah dan opsi yang lebih fleksibel untuk kapasitas komputasi, Anda bisa mendapatkan keuntungan dari keuntungan ini. Untuk mengelola pustaka Python tambahan, pekerjaan Glue AWS Python Shell menggunakan instalasi berbasis PIP. Namun, untuk AWS Lambda, Anda perlu memilih salah satu opsi berikut: arsip zip, gambar wadah, atau Lapisan Lambda.
Di sisi lain, AWS Lambda batas waktu maksimum adalah 900 detik (15 menit). Jika durasi pekerjaan dari beban kerja AWS Glue Python Shell Anda yang ada lebih dari itu, atau jika beban kerja Anda memiliki pola runcing yang dapat menyebabkan durasi pekerjaan lebih lama, maka sebaiknya jelajahi opsi lain. AWS Lambda
Memigrasi beban kerja ke Amazon ECS/Fargate
Amazon Elastic Container Service (Amazon ECS) adalah layanan terkelola penuh yang menyederhanakan penerapan, pengelolaan, dan penskalaan aplikasi kontainer. AWS Fargate adalah mesin komputasi tanpa server untuk beban kerja kontainer yang berjalan di Amazon ECS dan (Amazon EKS). Amazon Elastic Kubernetes Service Tidak ada batas waktu maksimum di Amazon ECS dan Fargate, jadi ini adalah pilihan yang baik untuk pekerjaan jangka panjang. Karena Anda memiliki kontrol penuh atas gambar kontainer Anda, Anda dapat membawa skrip Python dan pustaka Python tambahan ke dalam wadah dan menggunakannya. Namun, Anda perlu mengkontainerisasi skrip Python Anda untuk menggunakan pendekatan ini.
Memigrasi beban kerja ke Alur Kerja Terkelola Amazon untuk Operator Python Aliran Udara Apache
Alur Kerja Terkelola Amazon untuk Apache Airflow (Alur Kerja Terkelola untuk Apache Airflow) adalah layanan orkestrasi terkelola untuk Apache Airflow yang memudahkan penyiapan dan pengoperasian jalur data di cloud dalam skala besar. end-to-end Jika Anda sudah memiliki lingkungan MWAA, akan mudah untuk menggunakan operator Python alih-alih pekerjaan Glue AWS Python Shell. Operator Python adalah operator yang menjalankan kode Python di dalam alur kerja Airflow. Namun, jika Anda tidak memiliki lingkungan MWAA yang ada, kami sarankan untuk menjelajahi opsi lain.
Migrasi beban kerja ke pekerjaan pelatihan Amazon SageMaker AI AI
Amazon SageMaker AI Pelatihan adalah layanan pembelajaran mesin (ML) yang dikelola sepenuhnya yang ditawarkan oleh Amazon SageMaker AI yang membantu Anda melatih berbagai model ML secara efisien dalam skala besar. Inti dari pekerjaan Amazon SageMaker AI AI adalah kontainerisasi beban kerja ML dan kemampuan mengelola AWS sumber daya komputasi. Jika Anda lebih suka lingkungan tanpa server di mana tidak ada batas waktu maksimum, pekerjaan pelatihan Amazon SageMaker AI AI bisa sangat cocok untuk Anda. Namun, latensi startup cenderung lebih lama dari pekerjaan AWS Glue Python Shell. Untuk pekerjaan yang sensitif terhadap latensi, sebaiknya jelajahi opsi lain.
