As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
API de machine learning
A API Machine learning descreve os tipos de dados de machine learning e inclui a API para criar, excluir ou atualizar uma transformação, ou iniciar a execução de uma tarefa de machine learning.
Tipos de dados
Estrutura TransformParameters
Os parâmetros de algoritmo específicos associados à transformação de machine learning.
Campos
-
TransformType
: obrigatório: string UTF-8 (valores válidos:FIND_MATCHES
).O tipo de transformação de machine learning.
Para obter informações sobre os tipos de transformações de machine learning, consulte Criação de transformações para machine learning.
-
FindMatchesParameters
– Um objeto FindMatchesParameters.Os parâmetros do algoritmo de busca de correspondências.
Estrutura EvaluationMetrics
As métricas de avaliação fornecem uma estimativa da qualidade da transformação de machine learning.
Campos
-
TransformType
: obrigatório: string UTF-8 (valores válidos:FIND_MATCHES
).O tipo de transformação de machine learning.
-
FindMatchesMetrics
– Um objeto FindMatchesMetrics.As métricas de avaliação do algoritmo de busca de correspondências.
Estrutura MLTransform
Uma estrutura para a transformação de machine learning.
Campos
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de transformação exclusivo gerado para a transformação de machine learning. É garantido que o ID será único e não mudará.
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome definido pelo usuário para a transformação de machine learning. Não é garantido que os nomes serão únicos, e poderão ser trocados a qualquer momento.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Um texto de descrição de formato longo e definido pelo usuário para a transformação de machine learning. Não é garantido que as descrições serão únicas, e elas poderão mudar a qualquer momento.
-
Status
– String UTF-8 (valores válidos:NOT_READY
|READY
|DELETING
).O status atual da transformação de machine learning.
-
CreatedOn
– Timestamp.Um carimbo de data/hora. A data e hora em que essa transformação de machine learning foi criada.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último momento em que essa transformação de machine learning foi modificada.
-
InputRecordTables
: uma matriz de objetos GlueTable, não mais do que dez estruturas.Uma lista de definições de tabela do AWS Glue usadas pela transformação.
-
Parameters
– Um objeto TransformParameters.Um objeto
TransformParameters
. Você pode usar parâmetros para ajustar (personalizar) o comportamento da transformação de machine learning, especificando quais dados ela aprenderá e sua preferência sobre vários tradeoffs (como precisão vs. revocação, ou acurácia vs. custo). -
EvaluationMetrics
– Um objeto EvaluationMetrics.Um objeto
EvaluationMetrics
. As métricas de avaliação fornecem uma estimativa da qualidade da transformação de machine learning. -
LabelCount
– Número (íntegro).Um identificador de contagem para rotular arquivos gerados pelo AWS Glue para essa transformação. À medida que você cria uma transformação melhor, é possível fazer download, rotular e fazer upload do arquivo de rotulamento de maneira interativa.
-
Schema
: uma matriz de objetos SchemaColumn, não mais de 100 estruturas.Um mapa de pares de chave-valor representando as colunas e os tipos de dados que podem ser executados em relação a essa transformação. Tem um limite superior de 100 colunas.
-
Role
– String UTF-8.O nome ou o nome de recurso da Amazon (ARN) da função do IAM com as permissões necessárias. As permissões necessárias incluem as permissões de função de serviço do AWS Glue para recursos do AWS Glue e as permissões do Amazon S3 exigidas pela transformação.
-
Essa função precisa de permissões de função de serviço do AWS Glue para conceder o acesso aos recursos no AWS Glue. Consulte Anexar uma política aos usuários do IAM que acessam o AWS Glue.
-
Essa função precisa de permissão para suas origens, seus destinos, seu diretório temporário, seus scripts e quaisquer bibliotecas do Amazon Simple Storage Service (Amazon S3) usadas pela execução de tarefa nessa transformação.
-
-
GlueVersion
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #20.Este valor determina com qual versão de AWS Glue essa transformação de machine learning é compatível. O Glue 1.0 é recomendado para a maioria dos clientes. Se o valor não for definido, a compatibilidade com o Glue 0.9 será definida como padrão. Para obter mais informações, consulte Versões do AWS Glue no guia do desenvolvedor.
-
MaxCapacity
– Número (duplo).O número de unidades de processamento de dados (DPUs) do AWS Glue alocadas para execuções de tarefas para essa transformação. Você pode alocar de 2 a 100 DPUs. O padrão é 10. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. MaxCapacity
é uma opção mutuamente exclusiva comNumberOfWorkers
eWorkerType
.-
Se
NumberOfWorkers
ouWorkerType
estiver definido,MaxCapacity
não poderá ser definido. -
Se
MaxCapacity
estiver definido, nemNumberOfWorkers
e nemWorkerType
poderá ser definido. -
Se
WorkerType
estiver definido,NumberOfWorkers
será necessário (e vice-versa). -
MaxCapacity
eNumberOfWorkers
devem ser pelo menos 1.
Quando o campo
WorkerType
é definido como um valor diferente deStandard
, o campoMaxCapacity
é definido automaticamente e se torna somente leitura. -
-
WorkerType
– String UTF-8 (valores válidos:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).O tipo de operador predefinido alocado quando uma tarefa dessa transformação é executada. Aceita um valor de Standard (Padrão), G.1X ou G.2X.
-
Para o tipo de operador
Standard
, cada operador fornece 4 vCPU, 16 GB de memória e um disco de 50 GB e 2 executores por operador. -
Para o tipo de operador
G.1X
, cada operador fornece 4 vCPU, 16 GB de memória e um disco e 64 GB, 1 executor por operador. -
Para o tipo de operador
G.2X
, cada operador fornece 8 vCPU, 32 GB de memória e um disco de 128 GB e 1 executor por operador.
MaxCapacity
é uma opção mutuamente exclusiva comNumberOfWorkers
eWorkerType
.-
Se
NumberOfWorkers
ouWorkerType
estiver definido,MaxCapacity
não poderá ser definido. -
Se
MaxCapacity
estiver definido, nemNumberOfWorkers
e nemWorkerType
poderá ser definido. -
Se
WorkerType
estiver definido,NumberOfWorkers
será necessário (e vice-versa). -
MaxCapacity
eNumberOfWorkers
devem ser pelo menos 1.
-
-
NumberOfWorkers
– Número (íntegro).O número de operadores de um
workerType
definido alocados quando uma tarefa da transformação é executada.Se
WorkerType
estiver definido,NumberOfWorkers
será necessário (e vice-versa). -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos da transformação de machine learning.
-
MaxRetries
– Número (íntegro).O número máximo de novas tentativas após uma falha de transformação
MLTaskRun
de machine learning. -
TransformEncryption
– Um objeto TransformEncryption.As configurações de criptografia em repouso da transformação que se aplicam ao acesso aos dados do usuário. As transformações de machine learning podem acessar dados do usuário criptografados no Amazon S3 usando o KMS.
Estrutura FindMatchesParameters
Os parâmetros para configurar a transformação de localização de correspondências.
Campos
-
PrimaryKeyColumnName
– String UTF-8, superior a 1 e inferior a 1024 bytes de comprimento, correspondente a Single-line string pattern.O nome de uma coluna que identifica exclusivamente as linhas na tabela de origem. Usado para ajudar a identificar os registros correspondentes.
-
PrecisionRecallTradeoff
: número (double), no máximo 1,0.O valor selecionado ao ajustar a transformação para um equilíbrio entre precisão e revocação. Um valor de 0.5 significa que não há preferência; um valor de 1.0 significa um desvio puramente para precisão, e um valor de 0.0 significa um desvio para revocação. Como este é um tradeoff, escolher valores próximos a 1.0 significa uma revocação muito baixa, e escolher valores próximos a 0.0 resulta em uma precisão muito baixa.
A métrica de precisão indica a frequência com que seu modelo está correto ao prever uma correspondência.
A métrica de revocação indica, para uma correspondência real, com que frequência seu modelo prevê a correspondência.
-
AccuracyCostTradeoff
: número (double), no máximo 1,0.O valor selecionado ao ajustar sua transformação para um equilíbrio entre acurácia e custo. Um valor de 0.5 significa que o sistema equilibra as preocupações de acurácia e o custo. Um valor de 1.0 significa um desvio puramente para a acurácia, o que normalmente resulta em um custo mais alto, que é, às vezes, substancialmente superior. Um valor de 0.0 significa um desvio puramente para o custo, o que resulta em uma transformação
FindMatches
menos precisa e que é, às vezes, uma acurácia inaceitável.A acurácia mede quão bem a transformação encontra verdadeiros positivos e verdadeiros negativos. Aumentar a acurácia exige mais recursos de máquina e eleva os custos. Mas isso também resulta em um aumento da revocação.
O custo avalia o número de recursos de computação, ou seja, o dinheiro, consumidos para executar a transformação.
-
EnforceProvidedLabels
– Booleano.O valor para ativar/desativar a forçar a saída para corresponder aos rótulos fornecidos por usuários. Se o valor for
True
, a transformaçãofind matches
forçará a saída para corresponder aos rótulos fornecidos. Os resultados substituem os resultados de confluência normal. Se o valor forFalse
, a transformaçãofind matches
não garantirá que todos os rótulos fornecidos serão respeitados, e os resultados contarão com o modelo treinado.Observe que definir esse valor como true pode aumentar o tempo de execução do trabalho.
Estrutura FindMatchesMetrics
As métricas de avaliação do algoritmo de busca de correspondências. A qualidade da transformação de machine learning é avaliada fazendo com que sua transformação preveja algumas correspondências e comparando os resultados com correspondências conhecidas do mesmo conjunto de dados. As métricas de qualidade são baseadas em um subconjunto dos seus dados, para que eles não sejam precisos.
Campos
-
AreaUnderPRCurve
: número (double), no máximo 1,0.A área sob a curva de precisão/revocação (AUPRC) é um único número único que mede a qualidade geral da transformação, que é independente da escolha feita em precisão vs. revocação. Valores mais altos indicam que você tem um tradeoff de precisão vs. revocação mais atrativo.
Para obter mais informações, consulte Precisão e revocação
na Wikipédia. -
Precision
: número (double), no máximo 1,0.A métrica de precisão indica a frequência com que sua transformação está correta ao prever uma correspondência. Especificamente, avalia quão bem a transformação encontra verdadeiros positivos do total possível de verdadeiros positivos.
Para obter mais informações, consulte Precisão e revocação
na Wikipédia. -
Recall
: número (double), no máximo 1,0.A métrica de revocação indica, para uma correspondência real, com que frequência sua transformação prevê a correspondência. Especificamente, avalia quão bem a transformação encontra verdadeiros positivos do total de registros nos dados de origem.
Para obter mais informações, consulte Precisão e revocação
na Wikipédia. -
F1
: número (double), no máximo 1,0.O F1 máximo indica a acurácia da transformação entre 0 e 1, onde 1 é a melhor acurácia.
Para obter mais informações, consulte F1 score
na Wikipédia. -
ConfusionMatrix
– Um objeto ConfusionMatrix.A matriz de confusão mostra o que sua transformação está prevendo com precisão, e quais tipos de erros está cometendo.
Para obter mais informações, consulte Confusion Matrix
na Wikipédia. -
ColumnImportances
: uma matriz de objetos ColumnImportance, não mais de 100 estruturas.Uma lista de estruturas
ColumnImportance
contendo métricas de importância de coluna, classificadas em ordem de importância decrescente.
Estrutura ConfusionMatrix
A matriz de confusão mostra o que sua transformação está prevendo com precisão, e quais tipos de erros está cometendo.
Para obter mais informações, consulte Confusion Matrix
Campos
-
NumTruePositives
– Número (extenso).O número de correspondências nos dados que a transformação encontrou corretamente, na matriz de confusão da sua transformação.
-
NumFalsePositives
– Número (extenso).O número de não correspondências nos dados que a transformação incorretamente classificou como correspondências, na matriz de confusão da sua transformação.
-
NumTrueNegatives
– Número (extenso).O número de não correspondências nos dados que a transformação rejeitou corretamente, na matriz de confusão da sua transformação.
-
NumFalseNegatives
– Número (extenso).O número de correspondências nos dados que a transformação não encontrou, na matriz de confusão da sua transformação.
Estrutura GlueTable
O banco de dados e a tabela no AWS Glue Data Catalog usados para os dados de entrada ou saída.
Campos
-
DatabaseName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do banco de dados no AWS Glue Data Catalog.
-
TableName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da tabela no AWS Glue Data Catalog.
-
CatalogId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um identificador exclusivo para o AWS Glue Data Catalog.
-
ConnectionName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da conexão com o AWS Glue Data Catalog.
-
AdditionalOptions
: uma matriz de mapas de pares chave-valor, não menos que 1 o não mais que 10 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é uma string de descrição, com não mais de 2048 de comprimento, correspondo a URI address multi-line string pattern.
Opções adicionais para a tabela. Atualmente, duas chaves são compatíveis:
-
pushDownPredicate
: para filtrar por partições sem a necessidade de listar e ler todos os arquivos do conjunto de dados. -
catalogPartitionPredicate
: para usar a remoção de partições do lado do servidor usando índices de partição no AWS Glue Data Catalog.
-
Estrutura TaskRun
Os parâmetros de amostragem associados à transformação de machine learning.
Campos
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo para a execução dessa tarefa.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status atual da execução de tarefa solicitada.
-
LogGroupName
– String UTF-8.Os nomes do grupo de log para proteger os registros, associados a essa execução de tarefa.
-
Properties
– Um objeto TaskRunProperties.Especifica as propriedades de configuração associadas à execução de tarefa.
-
ErrorString
– String UTF-8.A lista de strings de erros associadas a essa execução de tarefa.
-
StartedOn
– Timestamp.A data e a hora em que essa execução de tarefa iniciou.
-
LastModifiedOn
– Timestamp.O último momento em que a execução de tarefa foi atualizada.
-
CompletedOn
– Timestamp.O último momento em que a execução de tarefa foi finalizada.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) em que a tarefa executada consumiu recursos.
Estrutura TransformFilterCriteria
Os critérios usado para filtrar as transformações de machine learning.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome de transformação exclusivo usado para filtrar as transformações de machine learning.
-
TransformType
– String UTF-8 (valores válidos:FIND_MATCHES
).O tipo de transformação de machine learning usado para filtrar as transformações de machine learning.
-
Status
– String UTF-8 (valores válidos:NOT_READY
|READY
|DELETING
).Filtra a lista de transformações de machine learning pelo último status conhecido das transformações (para indicar se uma transformação pode ser usada ou não). Um dos "NOT_READY", "READY" ou "DELETING".
-
GlueVersion
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #20.Este valor determina com qual versão de AWS Glue essa transformação de machine learning é compatível. O Glue 1.0 é recomendado para a maioria dos clientes. Se o valor não for definido, a compatibilidade com o Glue 0.9 será definida como padrão. Para obter mais informações, consulte Versões do AWS Glue no guia do desenvolvedor.
-
CreatedBefore
– Timestamp.A data e hora antes de as transformações serem criadas.
-
CreatedAfter
– Timestamp.A data e hora depois de as transformações serem criadas.
-
LastModifiedBefore
– Timestamp.Filtro da última modificação das transformações antes dessa data.
-
LastModifiedAfter
– Timestamp.Filtro da última modificação das transformações depois dessa data.
-
Schema
: uma matriz de objetos SchemaColumn, não mais de 100 estruturas.Filtros dos conjuntos de dados com um esquema específico. O objeto
Map<Column, Type>
é uma matriz de pares de chave-valor que representa o esquema que essa transformação aceita, em queColumn
é o nome de uma coluna, eType
é o tipo dos dados como um número inteiro ou uma string. Tem um limite superior de 100 colunas.
Estrutura TransformSortCriteria
Os critérios de classificação associados à transformação de machine learning.
Campos
-
Column
– obrigatório: string UTF-8 (valores válidos:NAME
|TRANSFORM_TYPE
|STATUS
|CREATED
|LAST_MODIFIED
).A coluna a ser usada nos critérios de classificação que estão associados à transformação de machine learning.
-
SortDirection
– Obrigatório: string UTF-8 (valores válidos:DESCENDING
|ASCENDING
).A direção da classificação a ser usada nos critérios de classificação associados à transformação de machine learning.
Estrutura TaskRunFilterCriteria
Os critérios usados para filtrar a execução de tarefa para a transformação de machine learning.
Campos
-
TaskRunType
– String UTF-8 (valores válidos:EVALUATION
|LABELING_SET_GENERATION
|IMPORT_LABELS
|EXPORT_LABELS
|FIND_MATCHES
).O tipo da tarefa executada.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status atual da tarefa executada.
-
StartedBefore
– Timestamp.Filtra as execuções de tarefas iniciadas antes dessa data.
-
StartedAfter
– Timestamp.Filtra as execuções de tarefas iniciadas após essa data.
Estrutura TaskRunSortCriteria
Os critérios de classificação usados para classificar a lista de execuções de tarefas para a transformação de machine learning.
Campos
-
Column
– Obrigatório: string UTF-8 (valores válidos:TASK_RUN_TYPE
|STATUS
|STARTED
).A coluna que será usada para classificar a lista de execuções de tarefas para a transformação de machine learning.
-
SortDirection
– Obrigatório: string UTF-8 (valores válidos:DESCENDING
|ASCENDING
).A direção de classificação que será usada para classificar a lista de execuções de tarefas para a transformação de machine learning.
Estrutura TaskRunProperties
As propriedades de configuração para a execução de tarefa.
Campos
-
TaskType
– String UTF-8 (valores válidos:EVALUATION
|LABELING_SET_GENERATION
|IMPORT_LABELS
|EXPORT_LABELS
|FIND_MATCHES
).O tipo da tarefa executada.
-
ImportLabelsTaskRunProperties
– Um objeto ImportLabelsTaskRunProperties.As propriedades de configuração para uma execução de tarefa de rótulos de importação.
-
ExportLabelsTaskRunProperties
– Um objeto ExportLabelsTaskRunProperties.As propriedades de configuração para uma execução de tarefa de rótulos de exportação.
-
LabelingSetGenerationTaskRunProperties
– Um objeto LabelingSetGenerationTaskRunProperties.As propriedades de configuração para execução de tarefa de geração de conjunto de rótulos.
-
FindMatchesTaskRunProperties
– Um objeto FindMatchesTaskRunProperties.As propriedades de configuração de uma execução de tarefa de busca de correspondências.
Estrutura FindMatchesTaskRunProperties
Especifica as propriedades de configuração de uma execução de tarefa de busca de correspondências.
Campos
-
JobId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do trabalho da execução de tarefa de busca de correspondências.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome atribuído ao trabalho da execução de tarefa de busca de correspondências.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da execução de trabalho para a execução de tarefa de busca de correspondências
Estrutura ImportLabelsTaskRunProperties
Especifica as propriedades de configuração para uma execução de tarefa de importação de rótulos.
Campos
-
InputS3Path
– String UTF-8.O caminho do Amazon Simple Storage Service (Amazon S3) para onde você importará os rótulos.
-
Replace
– Booleano.Indica se você deve substituir os rótulos existentes.
Estrutura ExportLabelsTaskRunProperties
Especifica as propriedades de configuração para uma execução de tarefa de exportação de rótulos.
Campos
-
OutputS3Path
– String UTF-8.O caminho do Amazon Simple Storage Service (Amazon S3) de onde você exportará os rótulos.
Estrutura LabelingSetGenerationTaskRunProperties
Especifica as propriedades de configuração para execução de tarefa de geração de conjunto de rótulos.
Campos
-
OutputS3Path
– String UTF-8.O caminho do Amazon Simple Storage Service (Amazon S3) de onde você irá gerar o conjunto de rótulos.
Estrutura SchemaColumn
Um par de chave-valor representando a coluna e o tipo de dado que podem ser executados em relação a essa transformação. O parâmetro Schema
do MLTransform
pode conter até 100 dessas estruturas.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 1024 bytes de comprimento, correspondente a Single-line string pattern.O nome da coluna.
-
DataType
– String UTF-8 com comprimento não superior a 131.072 bytes, correspondente a Single-line string pattern.O tipo de dados na coluna.
Estrutura TransformEncryption
As configurações de criptografia em repouso da transformação que se aplicam ao acesso aos dados do usuário. As transformações de machine learning podem acessar dados do usuário criptografados no Amazon S3 usando o KMS.
Além disso, rótulos importados e transformações treinadas agora podem ser criptografados usando uma chave KMS fornecida pelo cliente.
Campos
-
MlUserDataEncryption
– Um objeto MLUserDataEncryption.Um objeto
MLUserDataEncryption
que contém o modo de criptografia e o ID da chave do KMS fornecida pelo cliente. -
TaskRunSecurityConfigurationName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança.
Estrutura MLUserDataEncryption
As configurações de criptografia em repouso da transformação que se aplicam ao acesso aos dados do usuário.
Campos
-
MlUserDataEncryptionMode
– Obrigatório: string UTF-8 (valores válidos:DISABLED
|SSE-KMS="SSEKMS"
).O modo de criptografia aplicado aos dados do usuário. Os valores válidos são:
-
DISABLED: a criptografia está desativada
-
SSEKMS: uso de criptografia no lado do servidor com o AWS Key Management Service (SSE-KMS) para dados do usuário armazenados no Amazon S3.
-
-
KmsKeyId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da chave do KMS fornecida pelo cliente.
Estrutura ColumnImportance
Uma estrutura que contém o nome e a pontuação de importância de uma coluna.
A importância da coluna ajuda você a entender como as colunas contribuem para o seu modelo, identificando quais delas em seus registros são mais usadas para fazer a correspondência.
Campos
-
ColumnName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome de uma coluna.
-
Importance
: número (double), no máximo 1,0.A pontuação de importância da coluna, como um valor decimal.
Operações
Ação CreateMLTransform (Python: create_ml_transform)
Cria uma transformação de machine learning do AWS Glue. Essa operação cria a transformação e todos os parâmetros necessários para treiná-la.
Chame esta operação como a primeira etapa no processo de usar uma transformação de machine learning (como a transformação FindMatches
) para a desduplicação de dados. Você pode fornecer uma Description
, adicional, além dos parâmetros que você quer usar para seu algoritmo.
Você também deve especificar determinados parâmetros para as tarefas que o AWS Glue executa em seu nome como parte do aprendizado com seus dados e para criação de uma transformação de machine learning de alta qualidade. Esses parâmetros incluem Role
e, opcionalmente, AllocatedCapacity
, Timeout
e MaxRetries
. Para obter mais informações, consulte Tarefas.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome exclusivo que você atribui à transformação quando a cria.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da transformação de machine learning que está sendo definida. O padrão é uma string vazia.
-
InputRecordTables
- obrigatório: uma matriz de objetos GlueTable, não mais que dez estruturas.Uma lista de definições de tabela do AWS Glue usadas pela transformação.
-
Parameters
– Obrigatório: um objeto TransformParameters.Os parâmetros do algoritmo específicos para o tipo de transformação utilizado. Dependente condicionalmente do tipo de transformação.
-
Role
– Obrigatório: string UTF-8.O nome ou o nome de recurso da Amazon (ARN) da função do IAM com as permissões necessárias. As permissões necessárias incluem as permissões de função de serviço do AWS Glue para recursos do AWS Glue e as permissões do Amazon S3 exigidas pela transformação.
-
Essa função precisa de permissões de função de serviço do AWS Glue para conceder o acesso aos recursos no AWS Glue. Consulte Anexar uma política aos usuários do IAM que acessam o AWS Glue.
-
Essa função precisa de permissão para suas origens, seus destinos, seu diretório temporário, seus scripts e quaisquer bibliotecas do Amazon Simple Storage Service (Amazon S3) usadas pela execução de tarefa nessa transformação.
-
-
GlueVersion
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #20.Este valor determina com qual versão de AWS Glue essa transformação de machine learning é compatível. O Glue 1.0 é recomendado para a maioria dos clientes. Se o valor não for definido, a compatibilidade com o Glue 0.9 será definida como padrão. Para obter mais informações, consulte Versões do AWS Glue no guia do desenvolvedor.
-
MaxCapacity
– Número (duplo).O número de unidades de processamento de dados (DPUs) do AWS Glue alocadas para execuções de tarefas para essa transformação. Você pode alocar de 2 a 100 DPUs. O padrão é 10. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. MaxCapacity
é uma opção mutuamente exclusiva comNumberOfWorkers
eWorkerType
.-
Se
NumberOfWorkers
ouWorkerType
estiver definido,MaxCapacity
não poderá ser definido. -
Se
MaxCapacity
estiver definido, nemNumberOfWorkers
e nemWorkerType
poderá ser definido. -
Se
WorkerType
estiver definido,NumberOfWorkers
será necessário (e vice-versa). -
MaxCapacity
eNumberOfWorkers
devem ser pelo menos 1.
Quando o campo
WorkerType
é definido como um valor diferente deStandard
, o campoMaxCapacity
é definido automaticamente e se torna somente leitura.Quando o campo
WorkerType
é definido como um valor diferente deStandard
, o campoMaxCapacity
é definido automaticamente e se torna somente leitura. -
-
WorkerType
– String UTF-8 (valores válidos:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).O tipo de operador predefinido que é alocado quando uma tarefa é executada. Aceita um valor de Standard (Padrão), G.1X ou G.2X.
-
Para o tipo de operador
Standard
, cada operador fornece 4 vCPU, 16 GB de memória e um disco de 50 GB e 2 executores por operador. -
Para o tipo de operador
G.1X
, cada operador fornece 4 vCPU, 16 GB de memória e um disco e 64 GB, 1 executor por operador. -
Para o tipo de operador
G.2X
, cada operador fornece 8 vCPU, 32 GB de memória e um disco de 128 GB e 1 executor por operador.
MaxCapacity
é uma opção mutuamente exclusiva comNumberOfWorkers
eWorkerType
.-
Se
NumberOfWorkers
ouWorkerType
estiver definido,MaxCapacity
não poderá ser definido. -
Se
MaxCapacity
estiver definido, nemNumberOfWorkers
e nemWorkerType
poderá ser definido. -
Se
WorkerType
estiver definido,NumberOfWorkers
será necessário (e vice-versa). -
MaxCapacity
eNumberOfWorkers
devem ser pelo menos 1.
-
-
NumberOfWorkers
– Número (íntegro).O número de operadores de determinado
workerType
que são alocados quando uma tarefa é executada.Se
WorkerType
estiver definido,NumberOfWorkers
será necessário (e vice-versa). -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite da execução de tarefa para essa transformação, em minutos. Esse é o tempo máximo durante o qual uma execução de tarefa para essa transformação pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
MaxRetries
– Número (íntegro).O número máximo de vezes de novas tentativas dessa transformação após uma execução de tarefa falhar.
-
Tags
: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
As tags a serem usadas com essa transformação de machine learning. É possível usar tags para limitar o acesso à transformação de machine learning. Para obter mais informações sobre tags no AWS Glue, consulte Tags da AWS no AWS Glue no guia do desenvolvedor.
-
TransformEncryption
– Um objeto TransformEncryption.As configurações de criptografia em repouso da transformação que se aplicam ao acesso aos dados do usuário. As transformações de machine learning podem acessar dados do usuário criptografados no Amazon S3 usando o KMS.
Resposta
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um identificador exclusivo gerado para a transformação.
Erros
AlreadyExistsException
InvalidInputException
OperationTimeoutException
InternalServiceException
AccessDeniedException
ResourceNumberLimitExceededException
IdempotentParameterMismatchException
Ação UpdateMLTransform (Python: update_ml_transform)
Atualiza uma transformação de machine learning existente. Chame esta operação para ajustar os parâmetros do algoritmo para atingir resultados melhores.
Depois de chamar essa operação, você pode chamar a operação StartMLEvaluationTaskRun
para avaliar se os novos parâmetros alcançaram seus objetivos (como melhoria da qualidade da sua transformação de machine learning ou geração de um custo mais eficiente).
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um identificador exclusivo gerado quando a transformação foi criada.
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome exclusivo que você atribuiu à transformação quando a criou.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da transformação. O padrão é uma string vazia.
-
Parameters
– Um objeto TransformParameters.Os parâmetros de configuração específicos para o tipo de transformação (algoritmo) usado. Dependente condicionalmente do tipo de transformação.
-
Role
– String UTF-8.O nome ou o nome de recurso da Amazon (ARN) da função do IAM com as permissões necessárias.
-
GlueVersion
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #20.Este valor determina com qual versão de AWS Glue essa transformação de machine learning é compatível. O Glue 1.0 é recomendado para a maioria dos clientes. Se o valor não for definido, a compatibilidade com o Glue 0.9 será definida como padrão. Para obter mais informações, consulte Versões do AWS Glue no guia do desenvolvedor.
-
MaxCapacity
– Número (duplo).O número de unidades de processamento de dados (DPUs) do AWS Glue alocadas para execuções de tarefas para essa transformação. Você pode alocar de 2 a 100 DPUs. O padrão é 10. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. Quando o campo
WorkerType
é definido como um valor diferente deStandard
, o campoMaxCapacity
é definido automaticamente e se torna somente leitura. -
WorkerType
– String UTF-8 (valores válidos:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).O tipo de operador predefinido que é alocado quando uma tarefa é executada. Aceita um valor de Standard (Padrão), G.1X ou G.2X.
-
Para o tipo de operador
Standard
, cada operador fornece 4 vCPU, 16 GB de memória e um disco de 50 GB e 2 executores por operador. -
Para o tipo de operador
G.1X
, cada operador fornece 4 vCPU, 16 GB de memória e um disco e 64 GB, 1 executor por operador. -
Para o tipo de operador
G.2X
, cada operador fornece 8 vCPU, 32 GB de memória e um disco de 128 GB e 1 executor por operador.
-
-
NumberOfWorkers
– Número (íntegro).O número de operadores de determinado
workerType
que são alocados quando uma tarefa é executada. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite para uma tarefa executar essa transformação em minutos. Esse é o tempo máximo durante o qual uma execução de tarefa para essa transformação pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
MaxRetries
– Número (íntegro).O número máximo de vezes de novas tentativas dessa transformação após uma execução de tarefa falhar.
Resposta
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo para a transformação que foi atualizada.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
AccessDeniedException
Ação DeleteMLTransform (Python: delete_ml_transform)
Exclui uma transformação de machine learning do AWS Glue. As transformações de machine learning são um tipo especial de transformação que usa machine learning para aprender os detalhes da transformação que será realizada pelo aprendizado com exemplos fornecidos por humanos. Essas transformações são então salvas pelo AWS Glue. Se você não precisar mais de uma transformação, pode excluí-la chamando DeleteMLTransforms
. No entanto, qualquer trabalho do AWS Glue que ainda faça referência à transformação excluída não terá mais êxito.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação que será excluída.
Resposta
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação que foi excluída.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetMLTransform (Python: get_ml_transform)
Obtém um artefato de transformação de machine learning do AWS Glue e todos os seus metadados correspondentes. As transformações de machine learning são um tipo especial de transformação que usa machine learning para aprender os detalhes da transformação que será realizada pelo aprendizado com exemplos fornecidos por humanos. Essas transformações são então salvas pelo AWS Glue. Você pode recuperar os metadados chamando GetMLTransform
.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação, gerado no momento em que a transformação é criada.
Resposta
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação, gerado no momento em que a transformação é criada.
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome exclusivo atribuído à transformação quando ela foi criada.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da transformação.
-
Status
– String UTF-8 (valores válidos:NOT_READY
|READY
|DELETING
).O último status conhecido da transformação (para indicar se pode ser usada ou não). Um dos "NOT_READY", "READY" ou "DELETING".
-
CreatedOn
– Timestamp.A data e a hora em que a transformação foi criada.
-
LastModifiedOn
– Timestamp.A data e a hora em que a transformação foi modificada pela última vez.
-
InputRecordTables
: uma matriz de objetos GlueTable, não mais do que dez estruturas.Uma lista de definições de tabela do AWS Glue usadas pela transformação.
-
Parameters
– Um objeto TransformParameters.Os parâmetros de configuração específicos para o algoritmo usado.
-
EvaluationMetrics
– Um objeto EvaluationMetrics.As métricas de avaliação mais recentes.
-
LabelCount
– Número (íntegro).O número de rótulos disponíveis para essa transformação.
-
Schema
: uma matriz de objetos SchemaColumn, não mais de 100 estruturas.O objeto
Map<Column, Type>
que representa o esquema aceito por essa transformação. Tem um limite superior de 100 colunas. -
Role
– String UTF-8.O nome ou o nome de recurso da Amazon (ARN) da função do IAM com as permissões necessárias.
-
GlueVersion
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #20.Este valor determina com qual versão de AWS Glue essa transformação de machine learning é compatível. O Glue 1.0 é recomendado para a maioria dos clientes. Se o valor não for definido, a compatibilidade com o Glue 0.9 será definida como padrão. Para obter mais informações, consulte Versões do AWS Glue no guia do desenvolvedor.
-
MaxCapacity
– Número (duplo).O número de unidades de processamento de dados (DPUs) do AWS Glue alocadas para execuções de tarefas para essa transformação. Você pode alocar de 2 a 100 DPUs. O padrão é 10. Uma DPU é uma medida relativa do poder de processamento que consiste em uma capacidade computacional de 4 vCPUs e 16 GB de memória. Para obter mais informações, consulte a página de definição de preços do AWS Glue
. Quando o campo
WorkerType
é definido como um valor diferente deStandard
, o campoMaxCapacity
é definido automaticamente e se torna somente leitura. -
WorkerType
– String UTF-8 (valores válidos:Standard=""
|G.1X=""
|G.2X=""
|G.025X=""
|G.4X=""
|G.8X=""
|Z.2X=""
).O tipo de operador predefinido que é alocado quando uma tarefa é executada. Aceita um valor de Standard (Padrão), G.1X ou G.2X.
-
Para o tipo de operador
Standard
, cada operador fornece 4 vCPU, 16 GB de memória e um disco de 50 GB e 2 executores por operador. -
Para o tipo de operador
G.1X
, cada operador fornece 4 vCPU, 16 GB de memória e um disco e 64 GB, 1 executor por operador. -
Para o tipo de operador
G.2X
, cada operador fornece 8 vCPU, 32 GB de memória e um disco de 128 GB e 1 executor por operador.
-
-
NumberOfWorkers
– Número (íntegro).O número de operadores de determinado
workerType
que são alocados quando uma tarefa é executada. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite para uma tarefa executar essa transformação em minutos. Esse é o tempo máximo durante o qual uma execução de tarefa para essa transformação pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
MaxRetries
– Número (íntegro).O número máximo de vezes de novas tentativas dessa transformação após uma execução de tarefa falhar.
-
TransformEncryption
– Um objeto TransformEncryption.As configurações de criptografia em repouso da transformação que se aplicam ao acesso aos dados do usuário. As transformações de machine learning podem acessar dados do usuário criptografados no Amazon S3 usando o KMS.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetMLTransforms (Python: get_ml_transforms)
Obtém uma lista filtrável e classificável de transformações de machine learning do AWS Glue existentes. As transformações de machine learning são um tipo especial de transformação que usa machine learning para aprender os detalhes da transformação que será realizada pelo aprendizado com exemplos fornecidos por humanos. Essas transformações são então salvas pelo AWS Glue e você pode recuperar os metadados delas chamando GetMLTransforms
.
Solicitação
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
-
Filter
– Um objeto TransformFilterCriteria.Os critérios da transformação de filtros
-
Sort
– Um objeto TransformSortCriteria.Os critérios de classificação.
Resposta
-
Transforms
– Obrigatório: uma matriz de objetos MLTransform.Uma lista de transformações de machine learning.
-
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação ListMLTransforms (Python: list_ml_transforms)
Recupera uma lista classificável e filtrável de transformações de machine learning do AWS Glue existentes nesta conta da AWS ou os recursos com a tag especificada. Essa operação aceita o campo Tags
opcional, que pode ser usado como um filtro das respostas, para que recursos com tags possam ser recuperados como um grupo. Se você optar por usar a filtragem por tags, apenas os recursos com as tags serão recuperados.
Solicitação
-
NextToken
– String UTF-8.Um token de continuação, se esta for uma solicitação de continuação.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O tamanho máximo de uma lista a ser retornada.
-
Filter
– Um objeto TransformFilterCriteria.Os
TransformFilterCriteria
usados para filtrar as transformações de machine learning. -
Sort
– Um objeto TransformSortCriteria.Os
TransformSortCriteria
usados para classificar as transformações de machine learning. -
Tags
: uma matriz de mapa dos pares de chave-valor, não mais do que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Especifica apenas o retorno desses recursos com tags.
Resposta
-
TransformIds
: obrigatório: uma matriz de strings UTF-8.Os identificadores de todas as transformações de machine learning na conta, ou as transformações de machine learning com as tags especificadas.
-
NextToken
– String UTF-8.Um token de continuação, se a lista retornada não contiver a métrica mais recente disponível.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação StartMLEvaluationTaskRun (Python: start_ml_evaluation_task_run)
Inicia uma tarefa para estimar a qualidade da transformação.
Quando você fornece conjuntos de rótulos como exemplos de verdade, o machine learning do AWS Glue usa esses exemplos para aprender com eles. Os outros rótulos são usados como um teste para estimar a qualidade.
Retorna o identificador exclusivo da execução. Você pode chamar GetMLTaskRun
para obter mais informações sobre as estatísticas de EvaluationTaskRun
.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
Resposta
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo associado a essa execução.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ConcurrentRunsExceededException
MLTransformNotReadyException
Ação StartMLLabelingSetGenerationTaskRun (Python: start_ml_labeling_set_generation_task_run)
Inicia o fluxo de trabalho de aprendizado ativo da sua transformação de machine learning para melhorar a qualidade da transformação gerando conjuntos de dados e adicionando rótulos.
Quando StartMLLabelingSetGenerationTaskRun
estiver concluído, o AWS Glue terá gerado um “conjunto de rótulos” ou um conjunto de questões para serem respondidas por humanos.
No caso da transformação FindMatches
, essas perguntas são do tipo: "Qual é a maneira correta para agrupar essas linhas em grupos compostos inteiramente por registros correspondentes?"
Depois que o processo de rotulação finalizar, você poderá fazer upload dos seus rótulos com uma chamada para StartImportLabelsTaskRun
. Depois de StartImportLabelsTaskRun
terminar, todas as execuções futuras da transformação de machine learning usarão os rótulos novos e melhorados para executar uma transformação de maior qualidade.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
OutputS3Path
– Obrigatório: string UTF-8.O caminho do Amazon Simple Storage Service (Amazon S3) de onde você gera o conjunto de rótulos.
Resposta
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da execução associado a essa execução de tarefa.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ConcurrentRunsExceededException
Ação GetMLTaskRun (Python: get_ml_task_run)
Obtém os detalhes de uma execução de tarefa em uma transformação de machine learning. As execuções de tarefas de machine learning são tarefas assíncronas executadas pelo AWS Glue em seu nome como parte de vários fluxos de trabalho de machine learning. Você pode verificar as estatísticas de qualquer execução de tarefa chamando GetMLTaskRun
com o TaskRunID
e o TransformID
da sua transformação principal.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
TaskRunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da tarefa executada.
Resposta
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da tarefa executada.
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status da execução dessa tarefa.
-
LogGroupName
– String UTF-8.Os nomes dos grupos de logs associados à execução de tarefa.
-
Properties
– Um objeto TaskRunProperties.A lista de propriedades associadas à execução de tarefa.
-
ErrorString
– String UTF-8.As strings de erro associadas à execução de tarefa.
-
StartedOn
– Timestamp.A data e hora em que essa execução de tarefa foi iniciada.
-
LastModifiedOn
– Timestamp.A data e hora em que essa execução de tarefa foi modificada pela última vez.
-
CompletedOn
– Timestamp.A data e hora em que essa execução de tarefa foi finalizada.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) em que a tarefa executada consumiu recursos.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetMLTaskRuns (Python: get_ml_task_runs)
Obtém uma lista de execuções para a transformação de machine learning. As execuções de tarefas de machine learning são tarefas assíncronas executadas pelo AWS Glue em seu nome como parte de vários fluxos de trabalho de machine learning. Você pode obter uma lista de execuções de tarefa de machine learning filtrável e classificável chamando GetMLTaskRuns
com o TransformID
da transformação principal e outros parâmetros opcionais conforme documentados nesta seção.
Essa operação retorna uma lista com de execuções históricas e deve ser paginada.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
NextToken
– String UTF-8.Um token de paginação dos resultados. O padrão é vazio.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
-
Filter
– Um objeto TaskRunFilterCriteria.Os critérios de filtro, na estrutura
TaskRunFilterCriteria
, da execução de tarefa. -
Sort
– Um objeto TaskRunSortCriteria.Os critérios de classificação, na estrutura
TaskRunSortCriteria
, da execução de tarefa.
Resposta
-
TaskRuns
– Uma matriz de objetos TaskRun.Uma lista de execuções de tarefa que são associadas a transformação.
-
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação CancelMLTaskRun (Python: cancel_ml_task_run)
Cancela (interrompe) a execução de uma tarefa. As execuções de tarefas de machine learning são tarefas assíncronas executadas pelo AWS Glue em seu nome como parte de vários fluxos de trabalho de machine learning. Você pode cancelar uma execução de tarefa de machine learning a qualquer momento chamando CancelMLTaskRun
com um TransformID
de transformação principal da execução de tarefa e o TaskRunId
da execução de tarefa.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
TaskRunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um identificador exclusivo para a tarefa executada.
Resposta
-
TransformId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da tarefa executada.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação StartExportLabelsTaskRun (Python: start_export_labels_task_run)
Inicia uma tarefa assíncrona para exportar todos os dados rotulados para uma determinada transformação. Essa tarefa é a única chamada de API relacionada ao rótulo e não faz parte do fluxo de trabalho típico de aprendizado ativo. Normalmente, você usa StartExportLabelsTaskRun
quando quer trabalhar com todos os rótulos existentes ao mesmo tempo, por exemplo, quando deseja excluir ou alterar rótulos que foram enviados como verdade anteriormente. Esta operação de API aceita o TransformId
do qual você deseja exportar rótulos e um caminho do Amazon Simple Storage Service (Amazon S3) para onde exportá-los. A operação retorna um TaskRunId
. Você pode verificar o status da sua tarefa chamando a API GetMLTaskRun
.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
OutputS3Path
– Obrigatório: string UTF-8.O caminho do Amazon S3 para onde você exportará os rótulos.
Resposta
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da tarefa executada.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação StartImportLabelsTaskRun (Python: start_import_labels_task_run)
Permite que você forneça rótulos adicionais (exemplos de verdade) para serem usados no ensino da transformação de machine learning e na melhoria da qualidade. Essa operação de API é geralmente usada como parte do fluxo de aprendizagem ativo que começa com a chamada StartMLLabelingSetGenerationTaskRun
e que, em última análise, resulta em melhorar a qualidade da sua transformação de machine learning.
Quando StartMLLabelingSetGenerationTaskRun
terminar, o machine learning do AWS Glue terá gerado várias questões para serem respondidas por humanos. (Responder a essas perguntas é muitas vezes chamado de ''rotulamento'' nos fluxos de machine learning). No caso da transformação FindMatches
, essas perguntas são do tipo: "Qual é a maneira correta para agrupar essas linhas em grupos compostos inteiramente por registros correspondentes?" Após o término do processo de rotulamento, os usuários carregam suas respostas/rótulos com uma chamada para StartImportLabelsTaskRun
. Depois que StartImportLabelsTaskRun
terminar, todas as execuções futuras da transformação de machine learning usarão os rótulos novos e melhorados para executar uma transformação de maior qualidade.
Por padrão, StartMLLabelingSetGenerationTaskRun
aprende continuamente e combina todos os rótulos do seu upload, a não ser que você defina Replace
como true. Se você definir Replace
como true, StartImportLabelsTaskRun
exclui e esquece todos os rótulos previamente submetidos e aprende somente com o conjunto exato que você carregar. Substituir rótulos pode ser útil se você perceber que fez um upload incorreto de rótulos anteriormente e acredita que eles estão causando um efeito negativo na qualidade da transformação.
Você pode verificar o status da sua execução de tarefa chamando a operação GetMLTaskRun
.
Solicitação
-
TransformId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da transformação de machine learning.
-
InputS3Path
– Obrigatório: string UTF-8.O caminho do Amazon Simple Storage Service (Amazon S3) para onde você importará os rótulos.
-
ReplaceAllLabels
– Booleano.Indica se você deve substituir os rótulos existentes.
Resposta
-
TaskRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador exclusivo da tarefa executada.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
ResourceNumberLimitExceededException
InternalServiceException