XGBoostFramework-Prozessor

XGBoostist ein Open-Source-Framework für maschinelles Lernen. Das XGBoostProcessor in Amazon SageMaker Python enthaltene Python SDK bietet Ihnen die Möglichkeit, Verarbeitungsjobs mit XGBoost Skripten auszuführen. Wenn Sie den verwendenXGBoostProcessor, können Sie einen von Amazon erstellten Docker-Container mit einer verwalteten XGBoost Umgebung nutzen, sodass Sie keinen eigenen Container mitbringen müssen.

Das folgende Codebeispiel zeigt, wie Sie den verwenden können, XGBoostProcessor um Ihren Processing-Job mithilfe eines Docker-Images auszuführen, das von bereitgestellt und verwaltet wird. SageMaker Beachten Sie, dass Sie bei der Ausführung des Jobs ein Verzeichnis mit Ihren Skripten und Abhängigkeiten im source_dir Argument angeben können und dass sich in Ihrem source_dir Verzeichnis eine requirements.txt Datei befinden kann, die die Abhängigkeiten für Ihre Verarbeitungsskripte angibt. SageMaker Bei der Verarbeitung werden die Abhängigkeiten für Sie requirements.txt im Container installiert.

from sagemaker.xgboost import XGBoostProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the XGBoostProcessor
xgb = XGBoostProcessor(
    framework_version='1.2-2',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-XGB',
)

#Run the processing job
xgb.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='processed_data',
            source='/opt/ml/processing/output/',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Wenn Sie eine requirements.txt Datei haben, sollte es sich um eine Liste von Bibliotheken handeln, die Sie im Container installieren möchten. Der Pfad für source_dir kann ein relativer, absoluter oder Amazon URI S3-Pfad sein. Wenn Sie jedoch ein Amazon S3 verwendenURI, muss es auf eine Datei tar.gz verweisen. Sie können mehrere Skripte in dem Verzeichnis haben, das Sie für source_dir angeben. Weitere Informationen zu dieser XGBoostProcessor Klasse finden Sie unter XGBoostEstimator in Amazon SageMaker Python SDK.