Transformação de modelos usando o comando modeltransform - Amazon Neptune
Criar um trabalho de transformação de modelosObter o status do trabalhoInterromper um trabalhoListar trabalhos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Transformação de modelos usando o comando modeltransform

Use o comando modeltransform do Neptune ML para criar um trabalho de transformação de modelos, conferir o status, interrompê-lo ou listar todos os trabalhos ativos de transformação de modelos.

Criar um trabalho de transformação de modelos usando o comando modeltransform do Neptune ML

Um comando modeltransform do Neptune ML para criar um trabalho de transformação incremental, sem novo treinamento de modelos, tem a seguinte aparência:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "dataProcessingJobId" : "(the job-id of a completed data-processing job)",
        "mlModelTrainingJobId" : "(the job-id of a completed model-training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform"
      }'

Um comando modeltransform do Neptune ML para criar um trabalho a partir de um trabalho de treinamento concluído do SageMaker tem a seguinte aparência:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform",
        "baseProcessingInstanceType" : ""
      }'

Um comando modeltransform do Neptune ML para criar um trabalho que use uma implementação de modelos personalizados tem a seguinte aparência:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/"
        "customModelTransformParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'
Parâmetros para criação de trabalhos modeltransform

  • id: (opcional) um identificador exclusivo do novo trabalho.

    Tipo: string. Padrão: um UUID gerado automaticamente.

  • dataProcessingJobId: o ID de um trabalho de processamento de dados concluído.

    Tipo: string.

    Observação: você deve incluir dataProcessingJobId, mlModelTrainingJobId, ou trainingJobName.

  • mlModelTrainingJobId: o ID de um trabalho de treinamento de modelos concluído.

    Tipo: string.

    Observação: você deve incluir dataProcessingJobId, mlModelTrainingJobId ou trainingJobName.

  • trainingJobName: o nome de um trabalho de treinamento concluído do SageMaker.

    Tipo: string.

    Observação: você deve incluir os parâmetros dataProcessingJobId e mlModelTrainingJobId ou trainingJobName.

  • sagemakerIamRoleArn: (opcional) o ARN de um perfil do IAM para execução do SageMaker.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

  • neptuneIamRoleArn: (opcional) o ARN de um perfil do IAM que fornece ao Neptune acesso aos recursos do SageMaker e do Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

  • customModelTransformParameters : (opcional) informações de configuração para uma transformação de modelos usando um modelo personalizado. O objeto customModelTransformParameters contém os seguintes campos, que devem ter valores compatíveis com os parâmetros do modelo salvos do trabalho de treinamento:

    • sourceS3DirectoryPath: (obrigatório) o caminho para o local do Amazon S3 onde o módulo Python que implementa seu modelo está localizado. Isso deve apontar para uma localização válida existente do Amazon S3 que contenha, no mínimo, um script de treinamento, um script de transformação e um arquivo model-hpo-configuration.json.

    • transformEntryPointScript: (opcional) o nome do ponto de entrada no módulo de um script que deve ser executado após a identificação do melhor modelo da pesquisa de hiperparâmetros, para calcular os artefatos do modelo necessários para a implantação do modelo. Ele deve ser capaz de ser executado sem argumentos de linha de comando.

      Padrão: transform.py.

  • baseProcessingInstanceType: (opcional) o tipo de instância de ML usada na preparação e gerenciamento do treinamento de modelos de ML.

    Tipo: string. Observação: é uma instância de CPU escolhida com base nos requisitos de memória para processar os dados e o modelo de transformação. Consulte Selecionar uma instância para treinamento e transformação de modelos.

  • baseProcessingInstanceVolumeSizeInGB: (opcional) o tamanho do volume do disco da instância de treinamento. Tanto os dados de entrada quanto o modelo de saída são armazenados em disco, portanto, o tamanho do volume deve ser grande o suficiente para conter os dois conjuntos de dados.

    Tipo: número inteiro. Padrão: 0.

    Observação: se não for especificado ou for 0, o Neptune ML selecionará um tamanho de volume de disco com base na recomendação gerada na etapa de processamento de dados. Consulte Selecionar uma instância para treinamento e transformação de modelos.

  • subnets: (opcional) os IDs das sub-redes na VPC do Neptune.

    Tipo: lista de strings. Padrão: nenhum.

  • securityGroupIds: (opcional) os IDs do grupo de segurança da VPC.

    Tipo: lista de strings. Padrão: nenhum.

  • volumeEncryptionKMSKey: (opcional) a chave AWS Key Management Service (AWS KMS) que o SageMaker usa para criptografar dados no volume de armazenamento anexado às instâncias de computação de ML que executam o trabalho de transformação.

    Tipo: string. Padrão: nenhum.

  • enableInterContainerTrafficEncryption: (opcional) habilite ou desabilite a criptografia de tráfego entre contêineres em trabalhos de treinamento ou ajuste de hiperparâmetros.

    Tipo: booliano. Padrão: verdadeiro.

    nota

    O parâmetro enableInterContainerTrafficEncryption só está disponível na versão 1.2.0.2.R3 do mecanismo.

  • s3OutputEncryptionKMSKey: (opcional) a chave AWS Key Management Service (AWS KMS) que o SageMaker usa para criptografar a saída do trabalho de processamento.

    Tipo: string. Padrão: nenhum.

Obter o status de um trabalho de transformação de modelos usando o comando modeltransform do Neptune ML

Um exemplo de comando modeltransform do Neptune ML para o status de um trabalho tem a seguinte aparência:

curl -s \
  "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \
  | python -m json.tool
Parâmetros para o status do trabalho modeltransform

  • id: (obrigatório) o identificador exclusivo do trabalho de transformação de modelos.

    Tipo: string.

  • neptuneIamRoleArn: (opcional) o ARN de um perfil do IAM que fornece ao Neptune acesso aos recursos do SageMaker e do Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

Interromper um trabalho de transformação de modelos usando o comando modeltransform do Neptune ML

Um exemplo de comando modeltransform do Neptune ML para interromper um trabalho tem a seguinte aparência:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

Ou esta:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"
Parâmetros para um trabalho de interrupção modeltransform

  • id: (obrigatório) o identificador exclusivo do trabalho de transformação de modelos.

    Tipo: string.

  • neptuneIamRoleArn: (opcional) o ARN de um perfil do IAM que fornece ao Neptune acesso aos recursos do SageMaker e do Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

  • clean: (opcional) esse sinalizador especifica que todos os artefatos do Amazon S3 devem ser excluídos quando o trabalho é interrompido.

    Tipo: booliano. Padrão: FALSE.

Listar trabalhos ativos de transformação de modelos usando o comando modeltransform do Neptune ML

Um exemplo de comando modeltransform do Neptune ML para listar trabalhos ativos tem a seguinte aparência:

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

Ou esta:

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool
Parâmetros para trabalhos de lista modeltransform

  • maxItems: (opcional) o número máximo de itens a serem gerados.

    Tipo: número inteiro. Padrão: 10. Valor máximo permitido: 1024.

  • neptuneIamRoleArn: (opcional) o ARN de um perfil do IAM que fornece ao Neptune acesso aos recursos do SageMaker e do Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.