本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Apache MXNet 是一種開放原始碼深度學習架構,常用於訓練和部署神經網路。Amazon SageMaker Python MXNetProcessor
中的 SDK可讓您使用MXNet指令碼執行處理任務。使用 時MXNetProcessor
,您可以利用具有受管MXNet環境的 Amazon 建置 Docker 容器,這樣就不需要自帶容器。
下列程式碼範例示範如何使用 ,使用 提供的 Docker 映像MXNetProcessor
來執行處理工作 SageMaker。請注意,執行任務時,您可以在source_dir
引數中指定包含指令碼和相依性的目錄,而且您可以在source_dir
目錄中擁有一個requirements.txt
檔案,用於指定處理指令碼的相依性 (這些)。 SageMaker 處理會在requirements.txt
容器中為您安裝相依性。
from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role
#Initialize the MXNetProcessor
mxp = MXNetProcessor(
framework_version='1.8.0',
py_version='py37',
role=get_execution_role(),
instance_count=1,
instance_type='ml.c5.xlarge',
base_job_name='frameworkprocessor-mxnet'
)
#Run the processing job
mxp.run(
code='processing-script.py
',
source_dir='scripts
',
inputs=[
ProcessingInput(
input_name='data',
source=f's3://{BUCKET}/{S3_INPUT_PATH}
',
destination='/opt/ml/processing/input/data/'
)
],
outputs=[
ProcessingOutput(
output_name='processed_data',
source='/opt/ml/processing/output/',
destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}
'
)
]
)
如果您有一個 requirements.txt
檔案,該檔案應該會是您要在容器中安裝的程式庫清單。的路徑source_dir
可以是相對、絕對或 Amazon S3 URI 路徑。不過,如果您使用 Amazon S3 URI,則必須指向 tar.gz 檔案。您可以在為 source_dir
指定的目錄中擁有多個指令碼。若要進一步了解 MXNetProcessor
類別,請參閱 Amazon SageMaker Python SDK中的MXNet估算器