Struktur dan Eksekusi Pipa

Struktur Pipa

Instans Amazon SageMaker Pipelines terdiri dariname,parameters, dansteps. Nama pipa harus unik dalam (account, region) pasangan. Semua parameter yang digunakan dalam definisi langkah harus didefinisikan dalam pipeline. Langkah-langkah pipeline yang tercantum secara otomatis menentukan urutan eksekusi mereka berdasarkan dependensi data mereka satu sama lain. Layanan Pipelines menyelesaikan hubungan antara langkah-langkah dalam ketergantungan data DAG untuk membuat serangkaian langkah yang diselesaikan eksekusi. Berikut ini adalah contoh struktur pipa.

from sagemaker.workflow.pipeline import Pipeline
  
  pipeline_name = f"AbalonePipeline"
  pipeline = Pipeline(
      name=pipeline_name,
      parameters=[
          processing_instance_type, 
          processing_instance_count,
          training_instance_type,
          model_approval_status,
          input_data,
          batch_data,
      ],
      steps=[step_process, step_train, step_eval, step_cond],
  )

Eksekusi Pipeline menggunakan Konfigurasi Paralelisme

Secara default, pipeline melakukan semua langkah yang tersedia untuk dijalankan secara paralel. Anda dapat mengontrol perilaku ini dengan menggunakan ParallelismConfiguration properti saat membuat atau memperbarui pipeline, serta saat memulai atau mencoba ulang eksekusi pipeline.

Konfigurasi paralelisme diterapkan per eksekusi. Misalnya, jika dua eksekusi dimulai, mereka masing-masing dapat menjalankan maksimum 50 langkah secara bersamaan, dengan total 100 langkah yang berjalan secara bersamaan. Juga, ParallelismConfiguration yang ditentukan saat memulai, mencoba kembali, atau memperbarui eksekusi lebih diutamakan daripada konfigurasi paralelisme yang ditentukan dalam pipeline.

pipeline = Pipeline(
        name="myPipeline",
        steps=[step_process, step_train]
    )

  pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})