Struktur und Ausführung der Pipeline

Pipeline-Struktur

Eine Amazon SageMaker Pipelines-Instance besteht aus einem nameparameters, undsteps. Phasennamen müssen innerhalb eines (account, region)-Paares eindeutig sein. Alle in den Schrittdefinitionen verwendeten Parameter müssen in der Pipeline definiert werden. Die aufgelisteten Pipeline-Schritte bestimmen automatisch ihre Ausführungsreihenfolge anhand ihrer Datenabhängigkeiten voneinander. Der Pipelines-Service löst die Beziehungen zwischen den Schritten in der Datenabhängigkeit DAG auf, um eine Reihe von Schritten zu erstellen, die durch die Ausführung abgeschlossen werden. Im Folgenden finden Sie ein Beispiel für eine Pipeline-Struktur.

from sagemaker.workflow.pipeline import Pipeline
  
  pipeline_name = f"AbalonePipeline"
  pipeline = Pipeline(
      name=pipeline_name,
      parameters=[
          processing_instance_type, 
          processing_instance_count,
          training_instance_type,
          model_approval_status,
          input_data,
          batch_data,
      ],
      steps=[step_process, step_train, step_eval, step_cond],
  )

Pipeline-Ausführung mithilfe der Parallelismus-Konfiguration

Standardmäßig führt eine Pipeline alle Schritte aus, die parallel ausgeführt werden können. Sie können dieses Verhalten mithilfe der ParallelismConfiguration Eigenschaft steuern, wenn Sie eine Pipeline erstellen oder aktualisieren oder wenn Sie eine Pipeline-Ausführung starten oder erneut versuchen.

Parallelitätskonfigurationen werden pro Ausführung angewendet. Wenn beispielsweise zwei Ausführungen gestartet werden, können sie jeweils maximal 50 Schritte gleichzeitig ausführen, was insgesamt 100 gleichzeitig ausgeführten Schritten entspricht. Außerdem haben beim Starten, Wiederholen oder Aktualisieren einer Ausführung angegebene ParallelismConfiguration(n) Vorrang vor Parallelitätskonfigurationen, die in der Pipeline definiert wurden.

pipeline = Pipeline(
        name="myPipeline",
        steps=[step_process, step_train]
    )

  pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})