API Data Quality API
A API Data Quality descreve os tipos de dados de qualidade dos dados e inclui a API para criar, excluir ou atualizar conjuntos de dados, execuções e avaliações de qualidade de dados.
Tipos de dados
Estrutura DataSource
Uma fonte de dados (uma tabela do AWS Glue) para a qual você deseja resultados de qualidade de dados.
Campos
-
GlueTable
– Obrigatório: um objeto GlueTable.Uma tabela do AWS Glue.
Estrutura DataQualityRulesetListDetails
Descreve um conjunto de regras de qualidade de dados retornado por GetDataQualityRuleset
.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição do conjunto de regras de qualidade de dados.
-
CreatedOn
– Timestamp.A data e hora da criação do conjunto de regras de qualidade de dados.
-
LastModifiedOn
– Timestamp.A data e hora da modificação do conjunto de regras de qualidade de dados.
-
TargetTable
– Um objeto DataQualityTargetTable.Um objeto que representa uma tabela do AWS Glue.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.
-
RuleCount
– Número (íntegro).O número de regras no conjunto de regras.
Estrutura DataQualityTargetTable
Um objeto que representa uma tabela do AWS Glue.
Campos
-
TableName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da tabela AWS Glue.
-
DatabaseName
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do banco de dados em que a tabela do AWS Glue existe.
-
CatalogId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do catálogo onde a tabela AWS Glue se encontra.
Estrutura DataQualityRulesetEvaluationRunDescription
Descreve o resultado da avaliação de um conjunto de regras de qualidade de dados.
Campos
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
StartedOn
– Timestamp.A data e a hora de início da execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada à execução.
Estrutura DataQualityRulesetEvaluationRunFilter
Os critérios de filtro.
Campos
-
DataSource
– Obrigatório: um objeto DataSource.Filtrar com base em uma fonte de dados (uma tabela do AWS Glue) associada à execução.
-
StartedBefore
– Timestamp.Filtrar os resultados por execuções iniciadas antes desse horário.
-
StartedAfter
– Timestamp.Filtrar os resultados por execuções iniciadas depois desse horário.
Estrutura DataQualityEvaluationRunAdditionalRunOptions
Opções adicionais de execução que você pode especificar para uma execução de avaliação.
Campos
-
CloudWatchMetricsEnabled
– Booleano.Se as métricas do CloudWatch devem ou não ser habilitadas.
-
ResultsS3Prefix
– String UTF-8.Prefixo para o Amazon S3 para armazenar resultados.
-
CompositeRuleEvaluationMethod
: string UTF-8 (valores válidos:COLUMN
|ROW
).Definir o método de avaliação para regras compostas no conjunto de regras como ROW/COLUMN
Estrutura DataQualityRuleRecommendationRunDescription
Descreve o resultado da avaliação de uma recomendação de regra de qualidade de dados.
Campos
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada à execução da recomendação.
Estrutura DataQualityRuleRecommendationRunFilter
Um filtro para listar as execuções de recomendação de qualidade de dados.
Campos
-
DataSource
– Obrigatório: um objeto DataSource.Filtrar com base em uma fonte de dados especificada (tabela do AWS Glue).
-
StartedBefore
– Timestamp.Filtrar com base na hora dos resultados iniciados antes do horário fornecido.
-
StartedAfter
– Timestamp.Filtrar com base na hora dos resultados iniciados depois do horário fornecido.
Estrutura DataQualityResult
Descreve um resultado de qualidade de dados.
Campos
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil para o resultado de qualidade dos dados.
-
Score
: número (double), no máximo 1,0.Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.
-
DataSource
– Um objeto DataSource.A tabela associada ao resultado de qualidade dos dados, se houver.
-
RulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras associado ao resultado de qualidade de dados.
-
EvaluationContext
– String UTF-8.No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o
evaluationContext
pode diferenciar os nós. -
StartedOn
– Timestamp.A data e hora de início dessa execução de qualidade de dados.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução de qualidade de dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados, se houver.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.
-
RulesetEvaluationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução exclusivo para a avaliação do conjunto de regras para esse resultado de qualidade de dados.
-
RuleResults
: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.Uma lista de objetos do
DataQualityRuleResult
representando os resultados de cada regra. -
AnalyzerResults
: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.Uma lista de objetos
DataQualityAnalyzerResult
representando os resultados de cada analisador. -
Observations
– Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.Uma lista de objetos
DataQualityObservation
representando as observações geradas após a avaliação das regras e dos analisadores.
Estrutura DataQualityAnalyzerResult
Descreve o resultado da avaliação de um analisador de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do analisador de qualidade de dados.
-
Description
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma descrição do analisador de qualidade de dados.
-
EvaluationMessage
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma mensagem de avaliação.
-
EvaluatedMetrics
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um número (duplo).
Um mapa das métricas associadas à avaliação do analisador.
Estrutura DataQualityObservation
Descreve a observação gerada após a avaliação das regras e dos analisadores.
Campos
-
Description
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma descrição da observação de qualidade de dados.
-
MetricBasedObservation
– Um objeto MetricBasedObservation.Um objeto do tipo
MetricBasedObservation
que representa a observação com base nas métricas de qualidade de dados avaliadas.
Estrutura MetricBasedObservation
Descreve a observação baseada em métricas gerada com base nas métricas de qualidade de dados avaliadas.
Campos
-
MetricName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da métrica de qualidade de dados usada para gerar a observação.
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
MetricValues
– Um objeto DataQualityMetricValues.Um objeto do tipo
DataQualityMetricValues
que representa a análise do valor da métrica de qualidade de dados. -
NewRules
– Uma matriz de strings UTF-8.Uma lista de novas regras de qualidade de dados geradas como parte da observação com base no valor da métrica de qualidade de dados.
Estrutura DataQualityMetricValues
Descreve o valor da métrica de qualidade de dados de acordo com a análise de dados históricos.
Campos
-
ActualValue
– Número (duplo).O valor real da métrica de qualidade de dados.
-
ExpectedValue
– Número (duplo).O valor esperado da métrica de qualidade de dados de acordo com a análise de dados históricos.
-
LowerLimit
– Número (duplo).O limite inferior do valor da métrica de qualidade de dados de acordo com a análise de dados históricos.
-
UpperLimit
– Número (duplo).O limite superior do valor da métrica de qualidade de dados de acordo com a análise de dados históricos.
Estrutura DataQualityRuleResult
Descreve o resultado da avaliação de uma regra de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da regra de qualidade de dados.
-
Description
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma descrição da regras de qualidade de dados.
-
EvaluationMessage
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.Uma mensagem de avaliação.
-
Result
– String UTF-8 (valores válidos:PASS
|FAIL
|ERROR
).Um status de aprovação ou reprovação da regra.
-
EvaluatedMetrics
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um número (duplo).
Um mapa das métricas associadas à avaliação da regra.
-
EvaluatedRule
– String UTF-8 com comprimento não superior a 2048 bytes, correspondente a URI address multi-line string pattern.A regra avaliada.
Estrutura DataQualityResultDescription
Descreve um resultado de qualidade de dados.
Campos
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de resultado exclusivo para esse resultado de qualidade dos dados.
-
DataSource
– Um objeto DataSource.O nome da tabela associada ao resultado de qualidade dos dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados.
-
StartedOn
– Timestamp.A hora de início da execução desse resultado de qualidade de dados.
Estrutura DataQualityResultFilterCriteria
Critérios usados para retornar resultados de qualidade de dados.
Campos
-
DataSource
– Um objeto DataSource.Filtrar os resultados pela fonte de dados especificada. Por exemplo, recuperar todos os resultados de uma tabela do AWS Glue.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Filtrar os resultados pelo nome de trabalho especificado.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Filtrar os resultados pelo ID e execução de trabalho especificado.
-
StartedAfter
– Timestamp.Filtrar os resultados por execuções iniciadas depois desse horário.
-
StartedBefore
– Timestamp.Filtrar os resultados por execuções iniciadas antes desse horário.
Estrutura DataQualityRulesetFilterCriteria
Os critérios usados para filtrar conjuntos de regras de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome dos critérios de filtro do conjunto de regras.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.A descrição dos critérios de filtro do conjunto de regras.
-
CreatedBefore
– Timestamp.Filtrar por conjuntos de regras criados antes dessa data.
-
CreatedAfter
– Timestamp.Filtrar por conjuntos de regras criados depois dessa data.
-
LastModifiedBefore
– Timestamp.Filtrar por conjuntos de dados modificados antes dessa data.
-
LastModifiedAfter
– Timestamp.Filtrar por conjuntos de dados modificados depois dessa data.
-
TargetTable
– Um objeto DataQualityTargetTable.O nome e o nome do banco de dados da tabela de destino.
Estrutura StatisticAnotation
Uma anotação estatística.
Campos
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil.
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
StatisticRecordedOn
– Timestamp.O carimbo de data e hora de quando a estatística anotada foi registrada.
-
InclusionAnnotation
– Um objeto TimestampedInclusionAnnotation.A anotação de inclusão aplicada à estatística.
Estrutura TimestampedInclusionAnnotation
Uma anotação de inclusão com data e hora.
Campos
-
Value
: string UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).O valor da anotação de inclusão.
-
LastModifiedOn
– Timestamp.O carimbo de data e hora da última modificação da anotação de inclusão.
Estrutura AnnotationError
Uma anotação com falha.
Campos
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil da anotação com falha.
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística da anotação com falha.
-
FailureReason
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.O motivo pelo qual a anotação falhou.
Estrutura DatapointInclusionAnnotation
Uma anotação de inclusão.
Campos
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil de qualidade de dados ao qual a estatística pertence.
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
InclusionAnnotation
: string UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).O valor da anotação de inclusão a ser aplicado à estatística.
Lista StatisticSummaryList
Uma lista de StatisticSummary
.
Uma matriz de objetos StatisticSummary.
Uma lista de StatisticSummary
.
Estrutura StatisticSummary
Informações resumidas sobre uma estatística.
Campos
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil.
-
RunIdentifier
– Um objeto RunIdentifier.O identificador da execução.
-
StatisticName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Custom string pattern #32.O nome da estatística.
-
DoubleValue
– Número (duplo).O valor da estatística.
-
EvaluationLevel
– String UTF-8 (valores válidos:Dataset="DATASET"
|Column="COLUMN"
|Multicolumn="MULTICOLUMN"
).O nível de avaliação da estatística. Valores possíveis:
Dataset
,Column
,Multicolumn
. -
ColumnsReferenced
– Uma matriz de strings UTF-8.A lista de colunas referenciadas pela estatística.
-
ReferencedDatasets
– Uma matriz de strings UTF-8.A lista de conjuntos de dados referenciados pela estatística.
-
StatisticProperties
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é uma string de descrição, com não mais de 2048 de comprimento, correspondo a URI address multi-line string pattern.
Uma
StatisticPropertiesMap
, que contém umaNameString
e umaDescriptionString
-
RecordedOn
– Timestamp.O carimbo de data e hora de quando a estatística foi registrada.
-
InclusionAnnotation
– Um objeto TimestampedInclusionAnnotation.A anotação de inclusão da estatística.
Estrutura RunIdentifier
Um identificador de execução.
Campos
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da execução.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da execução do trabalho.
Estrutura StatisticModelResult
O resultado do modelo estatístico.
Campos
-
LowerBound
– Número (duplo).O limite inferior.
-
UpperBound
– Número (duplo).O limite superior.
-
PredictedValue
– Número (duplo).O valor previsto
-
ActualValue
– Número (duplo).O valor real.
-
Date
– Timestamp.A data.
-
InclusionAnnotation
: string UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).A anotação de inclusão.
Operações
Ação StartDataQualityRulesetEvaluationRun (Python: start_data_quality_ruleset_evaluation_run)
Ação CancelDataQualityRulesetEvaluationRun (Python: cancel_data_quality_ruleset_evaluation_run)
Ação GetDataQualityRulesetEvaluationRun (Python: get_data_quality_ruleset_evaluation_run)
Ação ListDataQualityRulesetEvaluationRuns (Python: list_data_quality_ruleset_evaluation_runs)
Ação StartDataQualityRuleRecommendationRun (Python: start_data_quality_rule_recommendation_run)
Ação CancelDataQualityRuleRecommendationRun (Python: cancel_data_quality_rule_recommendation_run)
Ação GetDataQualityRuleRecommendationRun (Python: get_data_quality_rule_recommendation_run)
Ação ListDataQualityRuleRecommendationRuns (Python: list_data_quality_rule_recommendation_runs)
Ação BatchGetDataQualityResult (Python: batch_get_data_quality_result)
Ação ListDataQualityResults (Python: list_data_quality_results)
Ação CreateDataQualityRuleset (Python: create_data_quality_ruleset)
Ação DeleteDataQualityRuleset (Python: delete_data_quality_ruleset)
Ação GetDataQualityRuleset (Python: get_data_quality_ruleset)
Ação ListDataQualityRulesets (Python: list_data_quality_rulesets)
Ação UpdateDataQualityRuleset (Python: update_data_quality_ruleset)
Ação ListDataQualityStatistics (Python: list_data_quality_statistics)
Ação BatchPutDataQualityStatisticAnnotation (Python: batch_put_data_quality_statistic_annotation)
Ação GetDataQualityModelResult (Python: get_data_quality_model_result)
Ação ListDataQualityStatisticAnnotations (Python: list_data_quality_statistic_annotations)
Ação PutDataQualityProfileAnnotation (Python: put_data_quality_profile_annotation)
Ação StartDataQualityRulesetEvaluationRun (Python: start_data_quality_ruleset_evaluation_run)
Depois que você tem uma definição de conjunto de regras (recomendado ou seu própria conjunto), você chama essa operação para avaliar o conjunto de regras em relação a uma fonte de dados (tabela do AWS Glue). A avaliação calcula os resultados que você pode recuperar com a API GetDataQualityResult
.
Solicitação
-
DataSource
– Obrigatório: um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada a essa execução.
-
Role
– Obrigatório: string UTF-8.Um perfil do IAM fornecido para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
-
AdditionalRunOptions
– Um objeto DataQualityEvaluationRunAdditionalRunOptions.Opções adicionais de execução que você pode especificar para uma execução de avaliação.
-
RulesetNames
- obrigatório: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.Uma lista de nomes de conjuntos de regras.
-
AdditionalDataSources
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um objeto DataSource A.
Um mapa de strings de referência para fontes de dados adicionais que você pode especificar para uma execução de avaliação.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Erros
InvalidInputException
EntityNotFoundException
OperationTimeoutException
InternalServiceException
ConflictException
Ação CancelDataQualityRulesetEvaluationRun (Python: cancel_data_quality_ruleset_evaluation_run)
Cancela uma execução em que um conjunto de regras está sendo avaliado em relação a uma fonte de dados.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetDataQualityRulesetEvaluationRun (Python: get_data_quality_ruleset_evaluation_run)
Cancela uma execução específica em que um conjunto de regras está sendo avaliado em relação a uma fonte de dados.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada a essa avaliação.
-
Role
– String UTF-8.Um perfil do IAM fornecido para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
AdditionalRunOptions
– Um objeto DataQualityEvaluationRunAdditionalRunOptions.Opções adicionais de execução que você pode especificar para uma execução de avaliação.
-
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
ErrorString
– String UTF-8.As strings de erro associadas à execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.
-
RulesetNames
: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.Uma lista de nomes de conjuntos de regras para a execução. Atualmente, este parâmetro pode ter apenas um nome de conjunto de regras.
-
ResultIds
: uma matriz de strings UTF-8, não menos que 1 ou mais que 10 strings.Uma lista de IDs de resultado para os resultados de qualidade de dados da execução.
-
AdditionalDataSources
– Um array de mapa dos pares de valor-chave.Cada chave é uma string UTF-8, com comprimento entre 1 e 255 bytes, correspondente a Single-line string pattern.
Cada valor é um objeto DataSource A.
Um mapa de strings de referência para fontes de dados adicionais que você pode especificar para uma execução de avaliação.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação ListDataQualityRulesetEvaluationRuns (Python: list_data_quality_ruleset_evaluation_runs)
Lista todas as execuções que atendem aos critérios de filtro, em que um conjunto de regras é avaliado em relação a uma fonte de dados.
Solicitação
-
Filter
– Um objeto DataQualityRulesetEvaluationRunFilter.Os critérios de filtro.
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
Resposta
-
Runs
– Uma matriz de objetos DataQualityRulesetEvaluationRunDescription.Uma lista de objetos
DataQualityRulesetEvaluationRunDescription
que representam execuções de conjuntos de regras de qualidade de dados. -
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação StartDataQualityRuleRecommendationRun (Python: start_data_quality_rule_recommendation_run)
Inicia uma execução de recomendação que é usada para gerar regras quando você não sabe quais regras escrever. AWS Glue A Data Quality analisa os dados e gera recomendações para um possível conjunto de regras. Em seguida, você pode fazer a triagem do conjunto de regras e modificar o conjunto de regras gerado de acordo com sua preferência.
As execuções de recomendação são excluídas automaticamente após 90 dias.
Solicitação
A solicitação de recomendação da regra de qualidade dos dados.
-
DataSource
– Obrigatório: um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada a essa execução.
-
Role
– Obrigatório: string UTF-8.Um perfil do IAM fornecido para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
CreatedRulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome para o conjunto de regras.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
-
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
Resposta
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
ConflictException
Ação CancelDataQualityRuleRecommendationRun (Python: cancel_data_quality_rule_recommendation_run)
Cancela a execução da recomendação especificada que estava sendo usada para gerar regras.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetDataQualityRuleRecommendationRun (Python: get_data_quality_rule_recommendation_run)
Obtém a execução da recomendação especificada que estava sendo usada para gerar regras.
Solicitação
-
RunId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
Resposta
A resposta para a execução de recomendação da regra de qualidade dos dados.
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada a essa execução.
-
Role
– String UTF-8.Um perfil do IAM fornecido para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
ErrorString
– String UTF-8.As strings de erro associadas à execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.
-
RecommendedRuleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Quando uma execução de recomendação de regra inicial é concluída, ela cria um conjunto de regras recomendado. Esse membro tem essas regras no formato Data Quality Definition Language (DQDL).
-
CreatedRulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras que foi criado pela execução.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação ListDataQualityRuleRecommendationRuns (Python: list_data_quality_rule_recommendation_runs)
Lista as execuções de recomendações que atendem aos critérios do filtro.
Solicitação
-
Filter
– Um objeto DataQualityRuleRecommendationRunFilter.Os critérios de filtro.
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
Resposta
-
Runs
– Uma matriz de objetos DataQualityRuleRecommendationRunDescription.Uma lista dos objetos
DataQualityRuleRecommendationRunDescription
. -
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetDataQualityResult (Python: get_data_quality_result)
Recupera o resultado de uma avaliação da regra de qualidade de dados.
Solicitação
-
ResultId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
Resposta
A resposta para o resultado de qualidade dos dados.
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil para o resultado de qualidade dos dados.
-
Score
: número (double), no máximo 1,0.Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.
-
DataSource
– Um objeto DataSource.A tabela associada ao resultado de qualidade dos dados, se houver.
-
RulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras associado ao resultado de qualidade de dados.
-
EvaluationContext
– String UTF-8.No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o
evaluationContext
pode diferenciar os nós. -
StartedOn
– Timestamp.A data e hora de início da execução desse resultado de qualidade de dados.
-
CompletedOn
– Timestamp.A data e hora de conclusão da execução desse resultado de qualidade de dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados, se houver.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.
-
RulesetEvaluationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução exclusivo associado à avaliação do conjunto de regras.
-
RuleResults
: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.Uma lista de objetos do
DataQualityRuleResult
representando os resultados de cada regra. -
AnalyzerResults
: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.Uma lista de objetos
DataQualityAnalyzerResult
representando os resultados de cada analisador. -
Observations
– Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.Uma lista de objetos
DataQualityObservation
representando as observações geradas após a avaliação das regras e dos analisadores.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
EntityNotFoundException
Ação BatchGetDataQualityResult (Python: batch_get_data_quality_result)
Recupera uma lista de resultados de qualidade de dados para os IDs de resultados especificados.
Solicitação
-
ResultIds
- obrigatório: uma matriz de strings UTF-8, não menos que 1 ou mais que 100 strings.Uma lista de IDs de resultado exclusivas para os resultados de qualidade dos dados.
Resposta
-
Results
– Obrigatório: uma matriz de objetos DataQualityResult.Uma lista de objetos
DataQualityResult
que representam os resultados de qualidade dos dados. -
ResultsNotFound
: uma matriz de strings UTF-8, não menos que 1 ou mais que 100 strings.Uma lista de IDs de resultados para os quais resultados não foram encontrados.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação ListDataQualityResults (Python: list_data_quality_results)
Retorna todos os resultados de execução de qualidade de dados para sua conta.
Solicitação
-
Filter
– Um objeto DataQualityResultFilterCriteria.Os critérios de filtro.
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
Resposta
-
Results
– Obrigatório: uma matriz de objetos DataQualityResultDescription.Uma lista dos objetos
DataQualityResultDescription
. -
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação CreateDataQualityRuleset (Python: create_data_quality_ruleset)
Cria um conjunto de regras de qualidade de dados com regras DQDL aplicadas a uma tabela do AWS Glue especificada.
Você cria o conjunto de regras usando a Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
Solicitação
Uma solicitação para criar um conjunto de regras de qualidade de dados
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome exclusivo para o conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição do conjunto de regras de qualidade de dados.
-
Ruleset
- obrigatório: string UTF-8, não menos que 1 ou mais que 65.536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
-
Tags
: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Uma lista de tags aplicadas ao conjunto de regras de qualidade de dados.
-
TargetTable
– Um objeto DataQualityTargetTable.Uma tabela de destino associada ao conjunto de regras de qualidade de dados.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de execução exclusivo para a execução da recomendação.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
-
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
Resposta
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome exclusivo para o conjunto de regras de qualidade de dados.
Erros
InvalidInputException
AlreadyExistsException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
Ação DeleteDataQualityRuleset (Python: delete_data_quality_ruleset)
Exclui um conjunto de regras de qualidade de dados.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome para o conjunto de regras de qualidade de dados.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetDataQualityRuleset (Python: get_data_quality_ruleset)
Retorna um conjunto de regras existente por identificador ou um nome.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do grupo de regras.
Resposta
Retorna a resposta do conjunto de regras de qualidade de dados.
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do grupo de regras.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
-
TargetTable
– Um objeto DataQualityTargetTable.O nome e o nome do banco de dados da tabela de destino.
-
CreatedOn
– Timestamp.Um carimbo de data/hora. A hora e a data de criação desse conjunto de regras de qualidade de dados.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que esse conjunto de regras de qualidade de dados foi modificado.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação ListDataQualityRulesets (Python: list_data_quality_rulesets)
Retorna uma lista paginada dos conjuntos de regras para a lista de tabelas do AWS Glue especificadas.
Solicitação
-
NextToken
– String UTF-8.Um token paginado para equilibrar os resultados.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados.
-
Filter
– Um objeto DataQualityRulesetFilterCriteria.Os critérios de filtro.
-
Tags
: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Uma lista de tags de pares chave-valor.
Resposta
-
Rulesets
– Uma matriz de objetos DataQualityRulesetListDetails.Uma lista paginada dos conjuntos de regras para a lista de tabelas do AWS Glue especificadas.
-
NextToken
– String UTF-8.Um token de paginação, se houver mais resultados disponíveis.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação UpdateDataQualityRuleset (Python: update_data_quality_ruleset)
Atualiza o conjunto de regras de qualidade de dados especificado.
Solicitação
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
Resposta
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
Erros
EntityNotFoundException
AlreadyExistsException
IdempotentParameterMismatchException
InvalidInputException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
Ação ListDataQualityStatistics (Python: list_data_quality_statistics)
Recupera uma lista de estatísticas de qualidade dos dados.
Solicitação
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil.
-
TimestampFilter
– Um objeto TimestampFilter.Um filtro de carimbo de data e hora.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados nesta solicitação.
-
NextToken
– String UTF-8.Um token de paginação para solicitar a próxima página de resultados.
Resposta
-
Statistics
– Uma matriz de objetos StatisticSummary.O
StatisticSummaryList
. -
NextToken
– String UTF-8.Um token de paginação para solicitar a próxima página de resultados.
Erros
EntityNotFoundException
InvalidInputException
InternalServiceException
Estrutura TimestampFilter
Um filtro de carimbo de data e hora.
Campos
-
RecordedBefore
– Timestamp.O registro de data e hora antes do qual as estatísticas devem ser incluídas nos resultados.
-
RecordedAfter
– Timestamp.O registro de data e hora após o qual as estatísticas devem ser incluídas nos resultados.
Estrutura CreateDataQualityRulesetRequest
Uma solicitação para criar um conjunto de regras de qualidade de dados
Campos
-
Name
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome exclusivo para o conjunto de regras de qualidade de dados.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição do conjunto de regras de qualidade de dados.
-
Ruleset
- obrigatório: string UTF-8, não menos que 1 ou mais que 65.536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
-
Tags
: uma matriz de mapa dos pares de chave-valor, não mais que 50 pares.Cada chave é uma string UTF-8, com comprimento entre 1 e 128 bytes.
Cada valor é uma string UTF-8, inferior a 256 bytes de comprimento.
Uma lista de tags aplicadas ao conjunto de regras de qualidade de dados.
-
TargetTable
– Um objeto DataQualityTargetTable.Uma tabela de destino associada ao conjunto de regras de qualidade de dados.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de execução exclusivo para a execução da recomendação.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
-
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
Estrutura GetDataQualityRulesetResponse
Retorna a resposta do conjunto de regras de qualidade de dados.
Campos
-
Name
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do grupo de regras.
-
Description
– String de descrição, inferior a 2048 bytes de comprimento, correspondente a URI address multi-line string pattern.Uma descrição da predefinição.
-
Ruleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Um conjunto de regras em Data Quality Definition Language (DQDL). Para obter mais informações, consulte o Guia do desenvolvedor do AWS Glue.
-
TargetTable
– Um objeto DataQualityTargetTable.O nome e o nome do banco de dados da tabela de destino.
-
CreatedOn
– Timestamp.Um carimbo de data/hora. A hora e a data de criação desse conjunto de regras de qualidade de dados.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que esse conjunto de regras de qualidade de dados foi modificado.
-
RecommendationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Quando um conjunto de regras foi criado de execução de uma recomendação, esse ID de execução é gerado para vincular os dois.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
Estrutura GetDataQualityResultResponse
A resposta para o resultado de qualidade dos dados.
Campos
-
ResultId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um ID de resultado exclusivo para o resultado de qualidade dos dados.
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil para o resultado de qualidade dos dados.
-
Score
: número (double), no máximo 1,0.Uma pontuação de qualidade de dados agregada. Representa a razão de regras que foram aproadas para o número total de regras.
-
DataSource
– Um objeto DataSource.A tabela associada ao resultado de qualidade dos dados, se houver.
-
RulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras associado ao resultado de qualidade de dados.
-
EvaluationContext
– String UTF-8.No contexto de um trabalho no AWS Glue Studio, cada nó na tela normalmente recebe algum tipo de nome e os nós de qualidade de dados terão nomes. No caso de vários nós, o
evaluationContext
pode diferenciar os nós. -
StartedOn
– Timestamp.A data e hora de início da execução desse resultado de qualidade de dados.
-
CompletedOn
– Timestamp.A data e hora de conclusão da execução desse resultado de qualidade de dados.
-
JobName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do trabalho associado ao resultado de qualidade dos dados, se houver.
-
JobRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução de trabalho associado ao resultado de qualidade dos dados, se houver.
-
RulesetEvaluationRunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID de execução exclusivo associado à avaliação do conjunto de regras.
-
RuleResults
: uma matriz de objetos DataQualityRuleResult, não mais de 2.000 estruturas.Uma lista de objetos do
DataQualityRuleResult
representando os resultados de cada regra. -
AnalyzerResults
: uma matriz de objetos DataQualityAnalyzerResult, não mais de 2.000 estruturas.Uma lista de objetos
DataQualityAnalyzerResult
representando os resultados de cada analisador. -
Observations
– Uma matriz de DataQualityObservation objetos, não mais de 50 estruturas.Uma lista de objetos
DataQualityObservation
representando as observações geradas após a avaliação das regras e dos analisadores.
Estrutura StartDataQualityRuleRecommendationRunRequest
A solicitação de recomendação da regra de qualidade dos dados.
Campos
-
DataSource
– Obrigatório: um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada a essa execução.
-
Role
– Obrigatório: string UTF-8.Um perfil do IAM fornecido para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
CreatedRulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Um nome para o conjunto de regras.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
-
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Usado para idempotência e é recomendado que seja definido como um ID aleatório (como um UUID) para evitar criar ou iniciar várias instâncias do mesmo recurso.
Estrutura GetDataQualityRuleRecommendationRunResponse
A resposta para a execução de recomendação da regra de qualidade dos dados.
Campos
-
RunId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O identificador de execução único associado a essa execução.
-
DataSource
– Um objeto DataSource.A fonte de dados (uma tabela do AWS Glue) associada a essa execução.
-
Role
– String UTF-8.Um perfil do IAM fornecido para criptografar os resultados da execução.
-
NumberOfWorkers
– Número (íntegro).O número de processadores do
G.1X
a serem usados na execução. O padrão é 5. -
Timeout
– Número (inteiro), pelo menos 1.O tempo limite em minutos para uma execução. Esse é o tempo máximo durante o qual uma execução pode consumir recursos antes de ser encerrada e entrar no status
TIMEOUT
. O padrão é 2.880 minutos (48 horas). -
Status
– String UTF-8 (valores válidos:STARTING
|RUNNING
|STOPPING
|STOPPED
|SUCCEEDED
|FAILED
|TIMEOUT
).O status dessa execução.
-
ErrorString
– String UTF-8.As strings de erro associadas à execução.
-
StartedOn
– Timestamp.A data e hora em que essa execução foi iniciada.
-
LastModifiedOn
– Timestamp.Um carimbo de data/hora. O último ponto em que essa recomendação de regra de qualidade de dados foi executada foi modificado.
-
CompletedOn
– Timestamp.A data e hora de conclusão dessa execução.
-
ExecutionTime
– Número (íntegro).A quantidade de tempo (em segundos) durante a qual a execução consumiu recursos.
-
RecommendedRuleset
: string UTF-8, não menos do que 1 ou mais de 65536 bytes de comprimento.Quando uma execução de recomendação de regra inicial é concluída, ela cria um conjunto de regras recomendado. Esse membro tem essas regras no formato Data Quality Definition Language (DQDL).
-
CreatedRulesetName
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome do conjunto de regras que foi criado pela execução.
-
DataQualitySecurityConfiguration
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O nome da configuração de segurança criada com a opção de criptografia de qualidade dos dados.
Ação BatchPutDataQualityStatisticAnnotation (Python: batch_put_data_quality_statistic_annotation)
Anote os pontos de dados ao longo do tempo para obter uma estatística específica de qualidade dos dados.
Solicitação
-
InclusionAnnotations
– Obrigatório: uma matriz de objetos DatapointInclusionAnnotation.Uma lista de
DatapointInclusionAnnotation
. -
ClientToken
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.Token cliente.
Resposta
-
FailedInclusionAnnotations
– Uma matriz de objetos AnnotationError.Uma lista de
AnnotationError
.
Erros
EntityNotFoundException
InvalidInputException
InternalServiceException
ResourceNumberLimitExceededException
Ação GetDataQualityModel (Python: get_data_quality_model)
Recupere o status de treinamento do modelo com mais informações (CompletedOn, StartedOn, FailureReason).
Solicitação
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
ProfileId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil.
Resposta
-
Status
– String UTF-8 (valores válidos:RUNNING
|SUCCEEDED
|FAILED
).O status do treinamento de modelo de qualidade dos dados.
-
StartedOn
– Timestamp.A data e hora em que o treinamento de modelo de qualidade dos dados começou.
-
CompletedOn
– Timestamp.O carimbo de data e hora de quando o treinamento do modelo de qualidade dos dados foi concluído.
-
FailureReason
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O motivo da falha no treinamento.
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação GetDataQualityModelResult (Python: get_data_quality_model_result)
Recupere as previsões de uma estatística para um determinado ID de perfil.
Solicitação
-
StatisticId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
ProfileId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil.
Resposta
-
CompletedOn
– Timestamp.O carimbo de data e hora de quando o treinamento do modelo de qualidade dos dados foi concluído.
-
Model
– Uma matriz de objetos StatisticModelResult.Uma lista de
StatisticModelResult
Erros
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Ação ListDataQualityStatisticAnnotations (Python: list_data_quality_statistic_annotations)
Recupere anotações para uma estatística de qualidade dos dados.
Solicitação
-
StatisticId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID da estatística.
-
ProfileId
– String UTF-8, superior a 1 e inferior a 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil.
-
TimestampFilter
– Um objeto TimestampFilter.Um filtro de carimbo de data e hora.
-
MaxResults
– Número (inteiro), superior a 1 ou mais que 1000.O número máximo de resultados a serem retornados nesta solicitação.
-
NextToken
– String UTF-8.Um token de paginação para recuperar o próximo conjunto de resultados.
Resposta
-
Annotations
– Uma matriz de objetos StatisticAnnotation.Uma lista de
StatisticAnnotation
aplicadas à estatística -
NextToken
– String UTF-8.Um token de paginação para recuperar o próximo conjunto de resultados.
Erros
InvalidInputException
InternalServiceException
Ação PutDataQualityProfileAnnotation (Python: put_data_quality_profile_annotation)
Anote todos os pontos de dados de um perfil.
Solicitação
-
ProfileId
– Obrigatório: string UTF-8, no mínimo 1 ou mais de 255 bytes de comprimento, correspondente a Single-line string pattern.O ID do perfil de monitoramento da qualidade dos dados a ser anotado.
-
InclusionAnnotation
– Obrigatório: string UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).O valor da anotação de inclusão a ser aplicado ao perfil.
Resposta
Nenhum parâmetro de resposta.
Erros
EntityNotFoundException
InvalidInputException
InternalServiceException