Konfigurieren Sie den Dateneingabemodus mit dem SageMaker Python-SDK - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfigurieren Sie den Dateneingabemodus mit dem SageMaker Python-SDK

SageMaker Das Python-SDK stellt die generische Estimator-Klasse und ihre Variationen für ML-Frameworks zum Starten von Trainingsjobs bereit. Sie können bei der Konfiguration der SageMaker Estimator AI-Klasse oder der Estimator.fit Methode einen der Dateneingabemodi angeben. Die folgenden Codevorlagen zeigen die beiden Möglichkeiten zur Angabe von Eingabemodi.

So legen Sie den Eingabemodus mithilfe der Klasse Estimator fest

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

Weitere Informationen finden Sie in der Klasse SageMaker.Estimator.Estimator in der Python SDK-Dokumentation. SageMaker

Um den Eingabemodus mit der Methode anzugeben estimator.fit()

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

Weitere Informationen finden Sie in der Klassenmethode SageMaker.Estimator.Estimator.fit und unter sagemaker.inputs. TrainingInputKlasse in der SageMaker Python SDK-Dokumentation.

Tipp

Weitere Informationen zur Konfiguration von Amazon FSx for Lustre oder Amazon EFS mit Ihrer VPC-Konfiguration mithilfe der SageMaker Python SDK-Schätzer finden Sie unter Verwenden von Dateisystemen als Trainingseingaben in der SageMaker AI Python SDK-Dokumentation.

Tipp

Die Dateneingabemodus-Integrationen mit Amazon S3, Amazon EFS und FSx für Lustre sind empfohlene Methoden zur optimalen Konfiguration der Datenquelle gemäß den Best Practices. Mithilfe der SageMaker KI-verwalteten Speicheroptionen und Eingabemodi können Sie die Leistung beim Laden von Daten strategisch verbessern, dies ist jedoch nicht strikt eingeschränkt. Sie können Ihre eigene Datenleselogik direkt in Ihren Trainingscontainer schreiben. Sie können z. B. festlegen, dass aus einer anderen Datenquelle gelesen wird, eine eigene S3-Datenladeklasse schreiben oder die Datenladefunktionen von Drittanbieter-Frameworks in Ihrem Trainingsskript verwenden. Sie müssen jedoch sicherstellen, dass Sie die richtigen Pfade angeben, die SageMaker KI erkennen kann.

Tipp

Wenn Sie einen benutzerdefinierten Schulungscontainer verwenden, stellen Sie sicher, dass Sie das SageMaker Schulungs-Toolkit installieren, mit dem Sie die Umgebung für SageMaker Schulungsjobs einrichten können. Andernfalls müssen Sie die Umgebungsvariablen explizit in Ihrem Dockerfile angeben. Weitere Informationen finden Sie unter Erstellen eines Containers mit Ihren eigenen Algorithmen und Modellen.

Weitere Informationen zum Einstellen der Dateneingabemodi mithilfe des Low-Levels SageMaker APIs finden Sie unter Wie Amazon SageMaker AI Schulungsinformationen bereitstellt CreateTrainingJobAPI und in. TrainingInputMode AlgorithmSpecification