MXNet Prosesor Kerangka

Apache MXNet adalah kerangka pembelajaran mendalam open-source yang biasa digunakan untuk pelatihan dan penyebaran jaringan saraf. SDK SageMaker Python Amazon MXNetProcessor di Amazon memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip. MXNet Saat Anda menggunakanMXNetProcessor, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan MXNet lingkungan terkelola sehingga Anda tidak perlu membawa wadah sendiri.

Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan MXNetProcessor untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker AI. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam source_dir argumen, dan Anda dapat memiliki requirements.txt file yang terletak di dalam source_dir direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di requirements.txt dalam wadah untuk Anda.

from sagemaker.mxnet import MXNetProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the MXNetProcessor
mxp = MXNetProcessor(
    framework_version='1.8.0',
    py_version='py37',
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.c5.xlarge',
    base_job_name='frameworkprocessor-mxnet'
)

#Run the processing job
mxp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='processed_data',
            source='/opt/ml/processing/output/',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Jika Anda memiliki requirements.txt file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk source_dir dapat berupa jalur URI relatif, absolut, atau Amazon S3. Namun, jika Anda menggunakan URI Amazon S3, maka itu harus mengarah ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukansource_dir. Untuk mempelajari selengkapnya tentang MXNetProcessor kelas, lihat MXNet Estimator di Amazon SageMaker Python SDK.