MXNet Framework-Prozessor

Apache MXNet ist ein Open-Source-Deep-Learning-Framework, das häufig für das Training und den Einsatz neuronaler Netzwerke verwendet wird. Das MXNetProcessor im Amazon SageMaker Python SDK bietet Ihnen die Möglichkeit, Verarbeitungsaufträge mit MXNet-Skripten auszuführen. Wenn Sie den MXNetProcessor verwenden, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten MXNet-Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie die verwenden könnenMXNetProcessor, um Ihren Verarbeitungsauftrag mit einem von bereitgestellten und verwalteten Docker-Image auszuführen SageMaker. Beachten Sie, dass Sie beim Ausführen des Auftrags ein Verzeichnis angeben können, das Ihre Skripts und Abhängigkeiten im source_dir -Argument enthält, und dass sich eine requirements.txt Datei in Ihrem source_dir Verzeichnis befinden kann, die die Abhängigkeiten für Ihr/Ihre Verarbeitungsskript(e) angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten in requirements.txt im Container für Sie installiert.

from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the MXNetProcessor
mxp = MXNetProcessor(
    framework_version='1.8.0',
    py_version='py37',
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.c5.xlarge',
    base_job_name='frameworkprocessor-mxnet'
)

#Run the processing job
mxp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='processed_data',
            source='/opt/ml/processing/output/',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon >SS3-URI-Pfad sein. Wenn Sie jedoch einen Amazon S3-URI verwenden, muss dieser auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zur MXNetProcessor Klasse finden Sie unter MXNet Estimator im Amazon SageMaker Python SDK .