PyTorch Processador de estrutura

PyTorch é uma estrutura de aprendizado de máquina de código aberto. PyTorchProcessorNo Amazon SageMaker Python, você SDK pode executar trabalhos de processamento com PyTorch scripts. Ao usar oPyTorchProcessor, você pode aproveitar um contêiner Docker criado pela Amazon com um PyTorch ambiente gerenciado para não precisar trazer seu próprio contêiner.

O exemplo de código a seguir mostra como você pode usar o PyTorchProcessor para executar sua tarefa de processamento usando uma imagem do Docker fornecida e mantida pela SageMaker. Observe que, ao executar o trabalho, você pode especificar um diretório contendo seus scripts e dependências no source_dir argumento e pode ter um requirements.txt arquivo localizado dentro do seu source_dir diretório que especifica as dependências dos seus scripts de processamento. SageMaker O processamento instala as dependências requirements.txt no contêiner para você.

Para ver as PyTorch versões suportadas pelo SageMaker, consulte as imagens disponíveis do Deep Learning Container.

from sagemaker.pytorch.processing import PyTorchProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the PyTorchProcessor
pytorch_processor = PyTorchProcessor(
    framework_version='1.8',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-PT'
)

#Run the processing job
pytorch_processor.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='data_structured', source='/opt/ml/processing/tmp/data_structured', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='validation', source='/opt/ml/processing/output/val', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='logs', source='/opt/ml/processing/logs', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

Se você tiver um arquivo requirements.txt, ele deverá ser uma lista das bibliotecas que você deseja instalar no contêiner. O caminho para source_dir pode ser um caminho relativo, absoluto ou do Amazon S3URI. No entanto, se você usa um Amazon S3URI, ele deve apontar para um arquivo tar.gz. Você pode ter vários scripts no diretório que você especificar para source_dir. Para saber mais sobre a PyTorchProcessor classe, consulte PyTorch Estimator no Amazon Python SageMaker . SDK