Transformação de modelos usando o comando modeltransform - Amazon Neptune
Criar um trabalho de transformação de modelosObter o status do trabalhoInterromper um trabalhoListar trabalhos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Transformação de modelos usando o comando modeltransform

Use o comando modeltransform do Neptune ML para criar um trabalho de transformação de modelos, conferir o status, interrompê-lo ou listar todos os trabalhos ativos de transformação de modelos.

Criar um trabalho de transformação de modelos usando o comando modeltransform do Neptune ML

Um comando modeltransform do Neptune ML para criar um trabalho de transformação incremental, sem novo treinamento de modelos, tem a seguinte aparência:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "dataProcessingJobId" : "(the job-id of a completed data-processing job)",
        "mlModelTrainingJobId" : "(the job-id of a completed model-training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform"
      }'

Um comando do Neptune modeltransform ML para criar um trabalho a partir de um trabalho de treinamento de IA SageMaker concluído tem a seguinte aparência:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "trainingJobName" : "(name of a completed SageMaker AI training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform",
        "baseProcessingInstanceType" : ""
      }'

Um comando modeltransform do Neptune ML para criar um trabalho que use uma implementação de modelos personalizados tem a seguinte aparência:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "trainingJobName" : "(name of a completed SageMaker AI training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/"
        "customModelTransformParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'
Parâmetros para criação de trabalhos modeltransform

  • id: (opcional) um identificador exclusivo do novo trabalho.

    Tipo: string. Padrão: Um gerado automaticamenteUUID.

  • dataProcessingJobId: o ID de um trabalho de processamento de dados concluído.

    Tipo: string.

    Observação: você deve incluir dataProcessingJobId, mlModelTrainingJobId, ou trainingJobName.

  • mlModelTrainingJobId: o ID de um trabalho de treinamento de modelos concluído.

    Tipo: string.

    Observação: você deve incluir dataProcessingJobId, mlModelTrainingJobId ou trainingJobName.

  • trainingJobName— O nome de um trabalho de treinamento de SageMaker IA concluído.

    Tipo: string.

    Observação: você deve incluir os parâmetros dataProcessingJobId e mlModelTrainingJobId ou trainingJobName.

  • sagemakerIamRoleArn— (Opcional) A ARN de uma IAM função para execução de SageMaker IA.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

  • neptuneIamRoleArn— (Opcional) A ARN de uma IAM função que fornece ao Neptune acesso SageMaker aos recursos de IA e Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

  • customModelTransformParameters : (opcional) informações de configuração para uma transformação de modelos usando um modelo personalizado. O objeto customModelTransformParameters contém os seguintes campos, que devem ter valores compatíveis com os parâmetros do modelo salvos do trabalho de treinamento:

    • sourceS3DirectoryPath: (obrigatório) o caminho para o local do Amazon S3 onde o módulo Python que implementa seu modelo está localizado. Isso deve apontar para uma localização válida existente do Amazon S3 que contenha, no mínimo, um script de treinamento, um script de transformação e um arquivo model-hpo-configuration.json.

    • transformEntryPointScript: (opcional) o nome do ponto de entrada no módulo de um script que deve ser executado após a identificação do melhor modelo da pesquisa de hiperparâmetros, para calcular os artefatos do modelo necessários para a implantação do modelo. Ele deve ser capaz de ser executado sem argumentos de linha de comando.

      Padrão: transform.py.

  • baseProcessingInstanceType: (opcional) o tipo de instância de ML usada na preparação e gerenciamento do treinamento de modelos de ML.

    Tipo: string. Observação: essa é uma CPU instância escolhida com base nos requisitos de memória para processar os dados e o modelo de transformação. Consulte Selecionar uma instância para treinamento e transformação de modelos.

  • baseProcessingInstanceVolumeSizeInGB: (opcional) o tamanho do volume do disco da instância de treinamento. Tanto os dados de entrada quanto o modelo de saída são armazenados em disco, portanto, o tamanho do volume deve ser grande o suficiente para conter os dois conjuntos de dados.

    Tipo: número inteiro. Padrão: 0.

    Observação: se não for especificado ou for 0, o Neptune ML selecionará um tamanho de volume de disco com base na recomendação gerada na etapa de processamento de dados. Consulte Selecionar uma instância para treinamento e transformação de modelos.

  • subnets— (Opcional) A IDs das sub-redes no Neptune. VPC

    Tipo: lista de strings. Padrão: nenhum.

  • securityGroupIds— (Opcional) O grupo VPC de segurançaIDs.

    Tipo: lista de strings. Padrão: nenhum.

  • volumeEncryptionKMSKey— (Opcional) A chave AWS Key Management Service (AWS KMS) que a SageMaker IA usa para criptografar dados no volume de armazenamento anexado às instâncias de computação de ML que executam a tarefa de transformação.

    Tipo: string Padrão: nenhum.

  • enableInterContainerTrafficEncryption: (opcional) habilite ou desabilite a criptografia de tráfego entre contêineres em trabalhos de treinamento ou ajuste de hiperparâmetros.

    Tipo: booliano. Padrão: verdadeiro.

    nota

    O parâmetro enableInterContainerTrafficEncryption só está disponível na versão 1.2.0.2.R3 do mecanismo.

  • s3OutputEncryptionKMSKey— (Opcional) A chave AWS Key Management Service (AWS KMS) que a SageMaker IA usa para criptografar a saída da tarefa de processamento.

    Tipo: string Padrão: nenhum.

Obter o status de um trabalho de transformação de modelos usando o comando modeltransform do Neptune ML

Um exemplo de comando modeltransform do Neptune ML para o status de um trabalho tem a seguinte aparência:

curl -s \
  "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \
  | python -m json.tool
Parâmetros para o status do trabalho modeltransform

  • id: (obrigatório) o identificador exclusivo do trabalho de transformação de modelos.

    Tipo: string.

  • neptuneIamRoleArn— (Opcional) A ARN de uma IAM função que fornece ao Neptune acesso SageMaker aos recursos de IA e Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

Interromper um trabalho de transformação de modelos usando o comando modeltransform do Neptune ML

Um exemplo de comando modeltransform do Neptune ML para interromper um trabalho tem a seguinte aparência:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

Ou esta:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"
Parâmetros para um trabalho de interrupção modeltransform

  • id: (obrigatório) o identificador exclusivo do trabalho de transformação de modelos.

    Tipo: string.

  • neptuneIamRoleArn— (Opcional) A ARN de uma IAM função que fornece ao Neptune acesso SageMaker aos recursos de IA e Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.

  • clean: (opcional) esse sinalizador especifica que todos os artefatos do Amazon S3 devem ser excluídos quando o trabalho é interrompido.

    Tipo: booliano. Padrão: FALSE.

Listar trabalhos ativos de transformação de modelos usando o comando modeltransform do Neptune ML

Um exemplo de comando modeltransform do Neptune ML para listar trabalhos ativos tem a seguinte aparência:

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

Ou esta:

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool
Parâmetros para trabalhos de lista modeltransform

  • maxItems: (opcional) o número máximo de itens a serem gerados.

    Tipo: número inteiro. Padrão: 10. Valor máximo permitido: 1024.

  • neptuneIamRoleArn— (Opcional) A ARN de uma IAM função que fornece ao Neptune acesso SageMaker aos recursos de IA e Amazon S3.

    Tipo: string. Observação: deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.