Contoh kode yang digunakan HuggingFaceProcessor di Amazon SageMaker Python SDK

Hugging Face adalah penyedia open-source model pemrosesan bahasa alami NLP (). HuggingFaceProcessorDi Amazon SageMaker Python SDK memberi Anda kemampuan untuk menjalankan pekerjaan pemrosesan dengan skrip Hugging Face. Saat Anda menggunakannyaHuggingFaceProcessor, Anda dapat memanfaatkan wadah Docker buatan Amazon dengan lingkungan Hugging Face yang dikelola sehingga Anda tidak perlu membawa wadah sendiri.

Contoh kode berikut menunjukkan bagaimana Anda dapat menggunakan HuggingFaceProcessor untuk menjalankan pekerjaan Processing Anda menggunakan image Docker yang disediakan dan dikelola oleh SageMaker. Perhatikan bahwa ketika Anda menjalankan pekerjaan, Anda dapat menentukan direktori yang berisi skrip dan dependensi Anda dalam source_dir argumen, dan Anda dapat memiliki requirements.txt file yang terletak di dalam source_dir direktori Anda yang menentukan dependensi untuk skrip pemrosesan Anda. SageMaker Pemrosesan menginstal dependensi di requirements.txt dalam wadah untuk Anda.

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Jika Anda memiliki requirements.txt file, itu harus berupa daftar pustaka yang ingin Anda instal di wadah. Jalur untuk source_dir bisa berupa jalur relatif, absolut, atau Amazon S3URI. Namun, jika Anda menggunakan Amazon S3URI, maka itu harus menunjuk ke file tar.gz. Anda dapat memiliki beberapa skrip di direktori yang Anda tentukansource_dir. Untuk mempelajari selengkapnya tentang HuggingFaceProcessor kelas, lihat Hugging Face Estimator di Amazon SageMaker Python. SDK