View a markdown version of this page

Beban kerja transformasi data dengan Processing SageMaker - Amazon SageMaker AI
Contoh NotebookCloudWatch Log dan Metrik

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Beban kerja transformasi data dengan Processing SageMaker

SageMaker Pemrosesan mengacu pada kemampuan SageMaker AI untuk menjalankan tugas pra dan pasca pemrosesan data, rekayasa fitur, dan evaluasi model pada infrastruktur SageMaker AI yang dikelola sepenuhnya. Tugas-tugas ini dijalankan sebagai pekerjaan pemrosesan. Berikut ini menyediakan informasi dan sumber daya untuk mempelajari tentang Pemro SageMaker sesan.

Menggunakan SageMaker Processing API, ilmuwan data dapat menjalankan skrip dan buku catatan untuk memproses, mengubah, dan menganalisis kumpulan data untuk mempersiapkannya untuk pembelajaran mesin. Ketika dikombinasikan dengan tugas pembelajaran mesin penting lainnya yang disediakan oleh SageMaker AI, seperti pelatihan dan hosting, Processing memberi Anda manfaat dari lingkungan pembelajaran mesin yang dikelola sepenuhnya, termasuk semua dukungan keamanan dan kepatuhan yang dibangun ke dalam SageMaker AI. Anda memiliki fleksibilitas untuk menggunakan wadah pemrosesan data bawaan atau membawa wadah Anda sendiri untuk logika pemrosesan khusus dan kemudian mengirimkan pekerjaan untuk dijalankan pada infrastruktur yang dikelola SageMaker AI.

catatan

Anda dapat membuat pekerjaan pemrosesan secara terprogram dengan memanggil tindakan CreateProcessingJob API dalam bahasa apa pun yang didukung oleh SageMaker AI atau dengan menggunakan. AWS CLI Untuk informasi tentang bagaimana tindakan API ini diterjemahkan ke dalam fungsi dalam bahasa pilihan Anda, lihat bagian Lihat Juga CreateProcessingJob dan pilih SDK. Sebagai contoh, untuk pengguna Python, lihat bagian Pem ro SageMaker sesan Amazon dari SageMaker Python SDK. Atau, lihat sintaks permintaan lengkap dari create_processing_job di. AWS SDK untuk Python (Boto3)

Diagram berikut menunjukkan bagaimana Amazon SageMaker AI memutar pekerjaan Pemrosesan. Amazon SageMaker AI mengambil skrip Anda, menyalin data Anda dari Amazon Simple Storage Service (Amazon S3), dan kemudian menarik wadah pemrosesan. Infrastruktur yang mendasari untuk pekerjaan Pemrosesan dikelola sepenuhnya oleh Amazon SageMaker AI. Setelah Anda mengirimkan pekerjaan pemrosesan, SageMaker AI meluncurkan instance komputasi, memproses dan menganalisis data input, dan melepaskan sumber daya setelah selesai. Output dari pekerjaan Pemrosesan disimpan di bucket Amazon S3 yang Anda tentukan.

catatan

Data input Anda harus disimpan dalam bucket Amazon S3. Atau, Anda dapat menggunakan Amazon Athena atau Amazon Redshift sebagai sumber input.

Menjalankan pekerjaan pemrosesan.
Tip

Untuk mempelajari praktik terbaik untuk komputasi terdistribusi pelatihan pembelajaran mesin (ML) dan pekerjaan pemrosesan secara umum, lihatKomputasi terdistribusi dengan praktik terbaik SageMaker AI.

Gunakan Notebook Sampel SageMaker Pemrosesan Amazon

Kami menyediakan dua contoh notebook Jupyter yang menunjukkan cara melakukan preprocessing data, evaluasi model, atau keduanya.

Untuk contoh buku catatan yang menunjukkan cara menjalankan skrip scikit-learn untuk melakukan pra-pemrosesan data dan pelatihan dan evaluasi model dengan SageMaker Python SDK for Processing, lihat Pemrosesan scikit-learn. https://github.com/awslabs/amazon-sagemaker-examples/tree/master/sagemaker_processing/scikit_learn_data_processing_and_model_evaluation Buku catatan ini juga menunjukkan cara menggunakan wadah khusus Anda sendiri untuk menjalankan beban kerja pemrosesan dengan pustaka Python Anda dan dependensi spesifik lainnya.

Untuk contoh buku catatan yang menunjukkan cara menggunakan Pemrosesan Amazon untuk melakukan SageMaker prapemrosesan data terdistribusi dengan Spark, lihat Distributed Processing (Spark). Buku catatan ini juga menunjukkan cara melatih model regresi menggunakan XGBoost pada dataset yang telah diproses sebelumnya.

Untuk petunjuk tentang cara membuat dan mengakses instance notebook Jupyter yang dapat Anda gunakan untuk menjalankan sampel ini di SageMaker AI, lihat. Instans SageMaker notebook Amazon Setelah Anda membuat instance notebook dan membukanya, pilih tab Contoh SageMaker AI untuk melihat daftar semua sampel SageMaker AI. Untuk membuka buku catatan, pilih tab Gunakan dan pilih Buat salinan.

Pantau Pekerjaan SageMaker Pemrosesan Amazon dengan CloudWatch Log dan Metrik

Amazon SageMaker Processing menyediakan CloudWatch log dan metrik Amazon untuk memantau pekerjaan pemrosesan. CloudWatch menyediakan CPU, GPU, memori, memori GPU, dan metrik disk, dan pencatatan peristiwa. Lihat informasi yang lebih lengkap di Metrik SageMaker AI Amazon di Amazon CloudWatch dan CloudWatch Log untuk Amazon SageMaker AI.