Configure o modo de entrada de dados usando o SDK do SageMaker Python - SageMaker IA da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configure o modo de entrada de dados usando o SDK do SageMaker Python

SageMaker O Python SDK fornece a classe genérica Estimator e suas variações para estruturas de ML para o lançamento de trabalhos de treinamento. Você pode especificar um dos modos de entrada de dados ao configurar a Estimator classe de SageMaker IA ou o Estimator.fit método. Os modelos de código a seguir mostram as duas formas de especificar os modos de entrada.

Para especificar o modo de entrada usando a classe Estimator

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    input_mode='File'  # Available options: File | Pipe | FastFile
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(s3_data="s3://amzn-s3-demo-bucket/my-data/train")
)

Para obter mais informações, consulte a classe SageMaker.Estimator.Estimator na documentação do SDK para Python. SageMaker

Para especificar o modo de entrada por meio do método estimator.fit()

from sagemaker.estimator import Estimator
from sagemaker.inputs import TrainingInput

estimator = Estimator(
    checkpoint_s3_uri='s3://amzn-s3-demo-bucket/checkpoint-destination/',
    output_path='s3://amzn-s3-demo-bucket/output-path/',
    base_job_name='job-name',
    ...
)

# Run the training job
estimator.fit(
    inputs=TrainingInput(
        s3_data="s3://amzn-s3-demo-bucket/my-data/train",
        input_mode='File'  # Available options: File | Pipe | FastFile
    )
)

Para obter mais informações, consulte o método da classe SageMaker.Estimator.fit e o sagemaker.inputs. TrainingInputclasse na documentação do SageMaker Python SDK.

dica

Para saber mais sobre como configurar o Amazon FSx for Lustre ou o Amazon EFS com sua configuração de VPC usando os estimadores do SDK do SageMaker Python, consulte Usar sistemas de arquivos como entradas de treinamento na documentação do AI Python SDK. SageMaker

dica

As integrações do modo de entrada de dados com o Amazon S3, o Amazon EFS e o FSx Lustre são formas recomendadas de configurar a fonte de dados de forma otimizada de acordo com as melhores práticas. Você pode melhorar estrategicamente o desempenho do carregamento de dados usando as opções de armazenamento gerenciado por SageMaker IA e os modos de entrada, mas isso não é estritamente restrito. Você pode escrever sua própria lógica de leitura de dados diretamente no seu contêiner de treinamento. Por exemplo, você pode configurar para ler de uma fonte de dados diferente, escrever sua própria classe de carregador de dados S3 ou usar as funções de carregamento de dados de estruturas de terceiros em seu script de treinamento. No entanto, você deve se certificar de especificar os caminhos corretos que a SageMaker IA pode reconhecer.

dica

Se você usa um contêiner de treinamento personalizado, certifique-se de instalar o kit de ferramentas de SageMaker treinamento que ajuda a configurar o ambiente para trabalhos de SageMaker treinamento. Caso contrário, você deve especificar as variáveis de ambiente explicitamente em seu Dockerfile. Para obter mais informações, consulte Criar um contêiner com seus próprios algoritmos e modelos.

Para obter mais informações sobre como definir os modos de entrada de dados usando o nível baixo SageMaker APIsComo a Amazon SageMaker AI fornece informações de treinamento, consulte a CreateTrainingJobAPI e o TrainingInputMode in AlgorithmSpecification.