Esempio di codice utilizzato HuggingFaceProcessor nell'SDK Amazon SageMaker Python

Hugging Face è un fornitore open source di modelli di elaborazione del linguaggio naturale (NLP). L'HuggingFaceProcessorSDK di Amazon SageMaker Python ti offre la possibilità di eseguire processi di elaborazione con gli script Hugging Face. Quando utilizzi HuggingFaceProcessor, puoi sfruttare un container Docker creato da Amazon con un ambiente Hugging Face gestito in modo da non dover portare il tuo container.

Il seguente esempio di codice mostra come utilizzare il HuggingFaceProcessor per eseguire il processo di elaborazione utilizzando un'immagine Docker fornita e gestita da AI. SageMaker Nota che quando esegui il job, puoi specificare una directory contenente gli script e le dipendenze nell'source_dirargomento e puoi avere un requirements.txt file all'interno della tua source_dir directory che specifica le dipendenze per i tuoi script di elaborazione. SageMaker L'elaborazione installa automaticamente le dipendenze presenti nel requirements.txt contenitore.

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Se hai un file requirements.txt, dovrebbe essere un elenco di librerie che desideri installare nel container. Il percorso per source_dir può essere un percorso URI relativo, assoluto o Amazon S3. Tuttavia, se utilizzi un URI Amazon S3, deve puntare a un file tar.gz. Puoi avere più script nella directory specificata per source_dir. Per ulteriori informazioni sulla HuggingFaceProcessor classe, consulta Hugging Face Estimator nell'SDK Amazon SageMaker AI Python.