API de Calidad de datos
La API de Calidad de datos describe los tipos de datos de la calidad de los datos e incluye la API para crear, eliminar o actualizar conjuntos de reglas, ejecuciones y evaluadores de la calidad de datos.
Tipos de datos
Estructura de DataSource
Un origen de datos (una tabla de AWS Glue) para obtener los resultados de la calidad de los datos.
Campos
-
GlueTable
: obligatorio: objeto GlueTable.Una tabla de AWS Glue.
Estructura de DataQualityRulesetListDetails
Describe un conjunto de reglas de la calidad de los datos devuelto por GetDataQualityRuleset
.
Campos
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas de calidad de datos.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas de calidad de datos.
-
CreatedOn
: marca temporal.La fecha y la hora en que se creó el conjunto de reglas de calidad de datos.
-
LastModifiedOn
: marca temporal.La fecha y la hora de la última modificación del conjunto de reglas de calidad de datos.
-
TargetTable
: un objeto DataQualityTargetTable.Un objeto que representa una tabla de AWS Glue.
-
RecommendationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Cuando se crea un conjunto de reglas a partir de una ejecución de recomendación, se genera este ID de ejecución para vincularlos ambos.
-
RuleCount
: número (entero).La cantidad de reglas del conjunto de reglas.
Estructura de DataQualityTargetTable
Un objeto que representa una tabla de AWS Glue.
Campos
-
TableName
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Nombre de la tabla de AWS Glue.
-
DatabaseName
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la base de datos donde se encuentra la tabla de AWS Glue.
-
CatalogId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID del catálogo donde reside la tabla AWS Glue.
Estructura de DataQualityRulesetEvaluationRunDescription
Describe el resultado de una ejecución de evaluación del conjunto de reglas de calidad de datos.
Campos
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
-
Status
: cadena UTF-8 (valores válidos:RUNNING
|FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
|CANCELED
|RECEIVED_BY_TASKRUNNER
).El estado de esta ejecución.
-
StartedOn
: marca temporal.La fecha y la hora en que inició la ejecución.
-
DataSource
: un objeto DataSource.El origen de datos (una tabla de AWS Glue) asociado a la ejecución.
Estructura de DataQualityRulesetEvaluationRunFilter
Los criterios del filtro.
Campos
-
DataSource
: obligatorio: objeto DataSource.Filtre en función de un origen de datos (una tabla de AWS Glue) asociado a la ejecución.
-
StartedBefore
: marca temporal.Filtre los resultados por las ejecuciones que se iniciaron antes de esta hora.
-
StartedAfter
: marca temporal.Filtre los resultados por las ejecuciones que se iniciaron después de esta hora.
Estructura de DataQualityEvaluationRunAdditionalRunOptions
Opciones de ejecución adicionales que puede especificar para una ejecución de evaluación.
Campos
-
CloudWatchMetricsEnabled
: booleano.Si se habilitan o no las métricas de CloudWatch.
-
ResultsS3Prefix
: cadena UTF-8.Prefijo para que Amazon S3 almacene los resultados.
-
CompositeRuleEvaluationMethod
: cadena UTF-8 (valores válidos:COLUMN
|ROW
).Establezca el método de evaluación para las reglas compuestas del conjunto de reglas en FILA/COLUMNA
Estructura de DataQualityRuleRecommendationRunDescription
Describe el resultado de una ejecución de recomendación de reglas de la calidad de los datos.
Campos
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
-
Status
: cadena UTF-8 (valores válidos:RUNNING
|FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
|CANCELED
|RECEIVED_BY_TASKRUNNER
).El estado de esta ejecución.
-
StartedOn
: marca temporal.La fecha y la hora en las que se inició esta ejecución.
-
DataSource
: un objeto DataSource.El origen de datos (tabla de AWS Glue) asociado a la ejecución de recomendación.
Estructura de DataQualityRuleRecommendationRunFilter
Se ejecuta un filtro para enumerar las ejecuciones de recomendación de la calidad de los datos.
Campos
-
DataSource
: obligatorio: objeto DataSource.Filtre en función de un origen de datos especificado (tabla de AWS Glue).
-
StartedBefore
: marca temporal.Filtre en función de la hora de los resultados que se iniciaron antes de la hora indicada.
-
StartedAfter
: marca temporal.Filtre en función de la hora de los resultados que se iniciaron después de la hora indicada.
Estructura de DataQualityResult
Describe un resultado de la calidad de los datos.
Campos
-
ResultId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un identificador de resultado único para el resultado de la calidad de los datos.
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil para el resultado de la calidad de los datos.
-
Score
: número (doble), 1,0 como máximo.Una puntuación agregada de la calidad de los datos. Representa la relación entre las reglas aprobadas y la cantidad total de reglas.
-
DataSource
: un objeto DataSource.La tabla asociada al resultado de calidad de datos, si existe.
-
RulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas asociado al resultado de calidad de datos.
-
EvaluationContext
: cadena UTF-8.En relación con un trabajo en AWS Glue Studio, a cada nodo del lienzo se le suele asignar algún tipo de nombre y los nodos de calidad de datos tendrán nombres. En el caso de varios nodos,
evaluationContext
puede diferenciar los nodos. -
StartedOn
: marca temporal.La fecha y la hora en las que se inició esta ejecución de la calidad de los datos.
-
CompletedOn
: marca temporal.La fecha y la hora en las que finalizó esta ejecución de la calidad de los datos.
-
JobName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del trabajo asociado al resultado de calidad de datos, si existe.
-
JobRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la ejecución del trabajo asociado al resultado de calidad de datos, si existe.
-
RulesetEvaluationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID único de la ejecución para la evaluación del conjunto de reglas de este resultado de calidad de datos.
-
RuleResults
: matriz de objetos DataQualityRuleResult, con 2000 estructuras como máximo.Una lista de objetos
DataQualityRuleResult
que representan los resultados de cada regla. -
AnalyzerResults
: matriz de objetos DataQualityAnalyzerResult, con 2000 estructuras como máximo.Una lista de objetos
DataQualityAnalyzerResult
que representan los resultados de cada analizador. -
Observations
: matriz de objetos DataQualityObservation, con 50 estructuras como máximo.Una lista de objetos
DataQualityObservation
que representan la observabilidad generada después de evaluar las reglas y los analizadores.
Estructura de DataQualityAnalyzerResult
Describe el resultado de la evaluación del analizador de la calidad de datos.
Campos
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del analizador de la calidad de datos.
-
Description
: cadena UTF-8 con un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Descripción del analizador de la calidad de datos.
-
EvaluationMessage
: cadena UTF-8 con un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Un mensaje de evaluación.
-
EvaluatedMetrics
: matriz de mapas de pares clave-valor.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.
Cada valor es un número (doble).
Un mapa de las métricas asociadas a la evaluación del analizador.
Estructura de DataQualityObservation
Describe la observación generada luego de la evaluación de las reglas y los analizadores.
Campos
-
Description
: cadena UTF-8 con un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción de la observación de la calidad de datos.
-
MetricBasedObservation
: un objeto MetricBasedObservation.Un objeto de tipo
MetricBasedObservation
que representa la observación basada en las métricas evaluadas de la calidad de datos.
Estructura de MetricBasedObservation
Describe la observación generada según las métricas basada en las métricas evaluadas de la calidad de datos.
Campos
-
MetricName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la métrica de calidad de datos utilizada para la generación de la observación.
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
MetricValues
: un objeto DataQualityMetricValues.Un objeto de tipo
DataQualityMetricValues
que representa el análisis del valor de la métrica de la calidad de datos. -
NewRules
: matriz de cadenas UTF-8.Una lista de reglas de calidad de datos nuevas generadas como parte de la observación basada en el valor de la métrica de la calidad de datos.
Estructura de DataQualityMetricValues
Describe el valor de la métrica de la calidad de datos según el análisis de los datos históricos.
Campos
-
ActualValue
: número (doble).El valor real de la métrica de la calidad de datos.
-
ExpectedValue
: número (doble).El valor esperado de la métrica de la calidad de datos según el análisis de los datos históricos.
-
LowerLimit
: número (doble).El valor más bajo del valor de la métrica de la calidad de datos según el análisis de los datos históricos.
-
UpperLimit
: número (doble).El valor más alto del valor de la métrica de la calidad de datos según el análisis de los datos históricos.
Estructura de DataQualityRuleResult
Describe el resultado de la evaluación de la regla de la calidad de datos.
Campos
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la regla de la calidad de datos.
-
Description
: cadena UTF-8 con un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Descripción de la regla de la calidad de datos.
-
EvaluationMessage
: cadena UTF-8 con un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Un mensaje de evaluación.
-
Result
: cadena UTF-8 (valores válidos:PASS
|FAIL
|ERROR
).Estado de aprobación o rechazo de la regla.
-
EvaluatedMetrics
: matriz de mapas de pares clave-valor.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.
Cada valor es un número (doble).
Un mapa de métricas asociadas a la evaluación de la regla.
-
EvaluatedRule
: cadena UTF-8 con un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.La regla evaluada.
Estructura de DataQualityResultDescription
Describe un resultado de la calidad de los datos.
Campos
-
ResultId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador único de este resultado de la calidad de datos.
-
DataSource
: un objeto DataSource.El nombre de la tabla asociada al resultado de la calidad de datos.
-
JobName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del trabajo asociado al resultado de la calidad de datos.
-
JobRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de la ejecución del trabajo asociado al resultado de la calidad de datos.
-
StartedOn
: marca temporal.La hora a la que se inició la ejecución de este resultado de la calidad de datos.
Estructura de DataQualityResultFilterCriteria
Criterios utilizados para devolver los resultados de la calidad de los datos.
Campos
-
DataSource
: un objeto DataSource.Filtre los resultados por el origen de datos especificado. Por ejemplo, mediante la recuperación de todos los resultados de una tabla de AWS Glue.
-
JobName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Filtre los resultados por el nombre de trabajo indicado.
-
JobRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Filtre los resultados por el identificador de la ejecución de trabajo indicado.
-
StartedAfter
: marca temporal.Filtre los resultados por las ejecuciones que se iniciaron después de esta hora.
-
StartedBefore
: marca temporal.Filtre los resultados por las ejecuciones que se iniciaron antes de esta hora.
Estructura de DataQualityRulesetFilterCriteria
Criterios utilizados para filtrar los conjuntos de reglas de calidad de datos.
Campos
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de los criterios del filtro del conjunto de reglas.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.La descripción de los criterios del filtro del conjunto de reglas.
-
CreatedBefore
: marca temporal.Filtre los conjuntos de reglas creados antes de esta fecha.
-
CreatedAfter
: marca temporal.Filtre los conjuntos de reglas creados después de esta fecha.
-
LastModifiedBefore
: marca temporal.Filtre los últimos conjuntos de reglas modificados antes de esta fecha.
-
LastModifiedAfter
: marca temporal.Filtre los últimos conjuntos de reglas modificados después de esta fecha.
-
TargetTable
: un objeto DataQualityTargetTable.El nombre de la base de datos y el nombre de la tabla de destino.
Estructura StatisticAnnotation
Una anotación estadística.
Campos
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil.
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
StatisticRecordedOn
: marca temporal.La marca de tiempo en la que se registró la estadística anotada.
-
InclusionAnnotation
: un objeto TimestampedInclusionAnnotation.La anotación de inclusión aplicada a la estadística.
Estructura TimestampedInclusionAnnotation
Una anotación de inclusión con fecha y hora.
Campos
-
Value
: cadena UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).El valor de la anotación de inclusión.
-
LastModifiedOn
: marca temporal.La marca de tiempo en la que se modificó por última vez la anotación de inclusión.
Estructura AnnotationError
Una anotación fallida.
Campos
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil de la anotación fallida.
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de estadística de la anotación fallida.
-
FailureReason
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.El motivo por el que se produjo un error en la anotación.
Estructura DatapointInclusionAnnotation
Una anotación de inclusión.
Campos
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID del perfil de calidad de los datos al que pertenece la estadística.
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
InclusionAnnotation
: cadena UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).El valor de la anotación de inclusión que se va a aplicar a la estadística.
Lista StatisticSummaryList
Lista de StatisticSummary
.
Una matriz de objetos StatisticSummary.
Lista de StatisticSummary
.
Estructura StatisticSummary
Información resumida sobre una estadística.
Campos
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil.
-
RunIdentifier
: un objeto RunIdentifier.El identificador de ejecución
-
StatisticName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Custom string pattern #16.El nombre de la estadística.
-
DoubleValue
: número (doble).El valor de la estadística.
-
EvaluationLevel
: cadena UTF-8 (valores válidos:Dataset="DATASET"
|Column="COLUMN"
|Multicolumn="MULTICOLUMN"
).El nivel de evaluación de la estadística. Valores posibles:
Dataset
,Column
,Multicolumn
. -
ColumnsReferenced
: matriz de cadenas UTF-8.La lista de columnas a las que hace referencia la estadística.
-
ReferencedDatasets
: matriz de cadenas UTF-8.La lista de conjuntos de datos a los que hace referencia la estadística.
-
StatisticProperties
: matriz de mapas de pares clave-valor.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.
Cada valor es una cadena Description (Descripción), con 2048 bytes de largo como máximo, que coincide con URI address multi-line string pattern.
Un
StatisticPropertiesMap
, que contiene unaNameString
y unaDescriptionString
-
RecordedOn
: marca temporal.La marca de tiempo en la que se registró la estadística.
-
InclusionAnnotation
: un objeto TimestampedInclusionAnnotation.La anotación de inclusión de la estadística.
Estructura RunIdentifier
Un identificador de ejecución.
Campos
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de ejecución.
-
JobRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de ejecución del trabajo.
Estructura StatisticModelResult
El resultado del modelo estadístico.
Campos
-
LowerBound
: número (doble).El límite inferior.
-
UpperBound
: número (doble).El límite superior.
-
PredictedValue
: número (doble).El valor previsto.
-
ActualValue
: número (doble).El valor real.
-
Date
: marca temporal.La fecha.
-
InclusionAnnotation
: cadena UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).La anotación de inclusión.
Operaciones
Acción StartDataQualityRulesetEvaluationRun (Python: start_data_quality_ruleset_evaluation_run)
Acción CancelDataQualityRulesetEvaluationRun (Python: cancel_data_quality_ruleset_evaluation_run)
Acción GetDataQualityRulesetEvaluationRun (Python: get_data_quality_ruleset_evaluation_run)
Acción ListDataQualityRulesetEvaluationRuns (Python: list_data_quality_ruleset_evaluation_runs)
Acción StartDataQualityRuleRecommendationRun (Python: start_data_quality_rule_recommendation_run)
Acción CancelDataQualityRuleRecommendationRun (Python: cancel_data_quality_rule_recommendation_run)
Acción GetDataQualityRuleRecommendationRun (Python: get_data_quality_rule_recommendation_run)
Acción ListDataQualityRuleRecommendationRuns (Python: list_data_quality_rule_recommendation_runs)
Acción GetDataQualityResult (Python: get_data_quality_result)
Acción BatchGetDataQualityResult (Python: batch_get_data_quality_result)
Acción ListDataQualityResults (Python: list_data_quality_results)
Acción CreateDataQualityRuleset (Python: create_data_quality_ruleset)
Acción DeleteDataQualityRuleset (Python: delete_data_quality_ruleset)
Acción GetDataQualityRuleset (Python: get_data_quality_ruleset)
Acción ListDataQualityRulesets (Python: list_data_quality_rulesets)
Acción UpdateDataQualityRuleset (Python: update_data_quality_ruleset)
Acción ListDataQualityStatistics (Python: list_data_quality_statistics)
Acción BatchPutDataQualityStatisticAnnotation (Python: batch_put_data_quality_statistic_annotation)
Acción GetDataQualityModelResult (Python: get_data_quality_model_result)
Acción ListDataQualityStatisticAnnotations (Python: list_data_quality_statistic_annotations)
Acción PutDataQualityProfileAnnotation (Python: put_data_quality_profile_annotation)
Acción StartDataQualityRulesetEvaluationRun (Python: start_data_quality_ruleset_evaluation_run)
Una vez que tenga una definición del conjunto de reglas (recomendada o propia), ejecute esta operación para evaluar el conjunto de reglas con respecto a un origen de datos (tabla de AWS Glue). La evaluación calcula los resultados que puede recuperar con la API de GetDataQualityResult
.
Solicitud
-
DataSource
: obligatorio: objeto DataSource.El origen de datos (tabla de AWS Glue) asociado a esta ejecución.
-
Role
– Obligatorio: cadena UTF-8.Un rol de IAM que se proporciona para cifrar los resultados de la ejecución.
-
NumberOfWorkers
: número (entero).La cantidad de procesos de trabajo de
G.1X
utilizados para la ejecución. El valor predeterminado es 5. -
Timeout
: número (entero), como mínimo 1.El tiempo de espera durante una ejecución en minutos. Es el tiempo máximo que una ejecución puede consumir recursos antes de que se termine y cambie al estado
TIMEOUT
. El valor predeterminado es 2880 minutos (48 horas). -
ClientToken
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Se usa para la idempotencia y se recomienda establecerlo en un identificador aleatorio (como un UUID) para evitar crear o iniciar varias instancias del mismo recurso.
-
AdditionalRunOptions
: un objeto DataQualityEvaluationRunAdditionalRunOptions.Opciones de ejecución adicionales que puede especificar para una ejecución de evaluación.
-
RulesetNames
: obligatorio: matriz de cadenas UTF-8, con una cadena como mínimo y 10 cadenas como máximo.Lista de nombres de conjuntos de reglas.
-
AdditionalDataSources
: matriz de mapas de pares clave-valor.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.
Cada valor es un objeto A DataSource.
Un mapa de cadenas de referencia a orígenes de datos adicionales que puede especificar para una ejecución de evaluación.
Respuesta
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
Errores
InvalidInputException
EntityNotFoundException
OperationTimeoutException
InternalServiceException
ConflictException
Acción CancelDataQualityRulesetEvaluationRun (Python: cancel_data_quality_ruleset_evaluation_run)
Cancela una ejecución en la que se evalúa un conjunto de reglas con respecto a un origen de datos.
Solicitud
-
RunId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción GetDataQualityRulesetEvaluationRun (Python: get_data_quality_ruleset_evaluation_run)
Recupera una ejecución específica en la que se evalúa un conjunto de reglas con respecto a un origen de datos.
Solicitud
-
RunId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
Respuesta
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
-
DataSource
: un objeto DataSource.El origen de datos (una tabla de AWS Glue) asociado a esta ejecución de evaluación.
-
Role
: cadena UTF-8.Un rol de IAM que se proporciona para cifrar los resultados de la ejecución.
-
NumberOfWorkers
: número (entero).La cantidad de procesos de trabajo de
G.1X
utilizados para la ejecución. El valor predeterminado es 5. -
Timeout
: número (entero), como mínimo 1.El tiempo de espera durante una ejecución en minutos. Es el tiempo máximo que una ejecución puede consumir recursos antes de que se termine y cambie al estado
TIMEOUT
. El valor predeterminado es 2880 minutos (48 horas). -
AdditionalRunOptions
: un objeto DataQualityEvaluationRunAdditionalRunOptions.Opciones de ejecución adicionales que puede especificar para una ejecución de evaluación.
-
Status
: cadena UTF-8 (valores válidos:RUNNING
|FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
|CANCELED
|RECEIVED_BY_TASKRUNNER
).El estado de esta ejecución.
-
ErrorString
: cadena UTF-8.Las cadenas de error asociadas a la ejecución.
-
StartedOn
: marca temporal.La fecha y la hora en las que se inició esta ejecución.
-
LastModifiedOn
: marca temporal.Una marca temporal. El último momento dado en el que se modificó esta ejecución de recomendación de la regla de calidad de datos.
-
CompletedOn
: marca temporal.La fecha y la hora en las que se completó esta ejecución.
-
ExecutionTime
: número (entero).El tiempo (en segundos) que la ejecución de flujo de trabajo consumió recursos.
-
RulesetNames
: matriz de cadenas UTF-8, con una cadena como mínimo y 10 cadenas como máximo.Lista de los nombres de los conjuntos de reglas para la ejecución. Actualmente, este parámetro solo puede tener un nombre para el conjunto de reglas.
-
ResultIds
: matriz de cadenas UTF-8, con una cadena como mínimo y 10 cadenas como máximo.Una lista de ID de los resultados de calidad de datos de la ejecución.
-
AdditionalDataSources
: matriz de mapas de pares clave-valor.Cada clave es una cadena UTF-8 con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.
Cada valor es un objeto A DataSource.
Un mapa de cadenas de referencia a orígenes de datos adicionales que puede especificar para una ejecución de evaluación.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción ListDataQualityRulesetEvaluationRuns (Python: list_data_quality_ruleset_evaluation_runs)
Muestra todas las ejecuciones que cumplen los criterios del filtro, donde un conjunto de reglas se evalúa en relación con un origen de datos.
Solicitud
-
Filter
: un objeto DataQualityRulesetEvaluationRunFilter.Los criterios del filtro.
-
NextToken
: cadena UTF-8.Un token paginado para compensar los resultados.
-
MaxResults
: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados que devolver.
Respuesta
-
Runs
: matriz de objetos DataQualityRulesetEvaluationRunDescription.Una lista de objetos
DataQualityRulesetEvaluationRunDescription
que representa las ejecuciones de un conjunto de reglas de calidad de datos. -
NextToken
: cadena UTF-8.Un token de paginación, si hay disponibles más resultados.
Errores
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción StartDataQualityRuleRecommendationRun (Python: start_data_quality_rule_recommendation_run)
Inicia una ejecución de recomendación que se utiliza para generar reglas cuando no sabe qué reglas escribir. AWS Glue Calidad de datos analiza los datos y presenta recomendaciones para un posible conjunto de reglas. A continuación, puede clasificar el conjunto de reglas y modificar el conjunto de reglas generado a su gusto.
Las ejecuciones de recomendaciones se eliminan automáticamente después de 90 días.
Solicitud
La solicitud de recomendación de la regla de calidad de los datos.
-
DataSource
: obligatorio: objeto DataSource.El origen de datos (tabla de AWS Glue) asociado a esta ejecución.
-
Role
– Obligatorio: cadena UTF-8.Un rol de IAM que se proporciona para cifrar los resultados de la ejecución.
-
NumberOfWorkers
: número (entero).La cantidad de procesos de trabajo de
G.1X
utilizados para la ejecución. El valor predeterminado es 5. -
Timeout
: número (entero), como mínimo 1.El tiempo de espera durante una ejecución en minutos. Es el tiempo máximo que una ejecución puede consumir recursos antes de que se termine y cambie al estado
TIMEOUT
. El valor predeterminado es 2880 minutos (48 horas). -
CreatedRulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un nombre para el conjunto de reglas.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
-
ClientToken
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Se usa para la idempotencia y se recomienda establecerlo en un identificador aleatorio (como un UUID) para evitar crear o iniciar varias instancias del mismo recurso.
Respuesta
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
Errores
InvalidInputException
OperationTimeoutException
InternalServiceException
ConflictException
Acción CancelDataQualityRuleRecommendationRun (Python: cancel_data_quality_rule_recommendation_run)
Cancela la ejecución de recomendación especificada que se utilizó para generar las reglas.
Solicitud
-
RunId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción GetDataQualityRuleRecommendationRun (Python: get_data_quality_rule_recommendation_run)
Obtiene la ejecución de recomendación especificada que se utilizó para generar las reglas.
Solicitud
-
RunId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
Respuesta
La respuesta a la ejecución de la recomendación de la regla de calidad de los datos.
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
-
DataSource
: un objeto DataSource.El origen de datos (una tabla de AWS Glue) asociado a esta ejecución.
-
Role
: cadena UTF-8.Un rol de IAM que se proporciona para cifrar los resultados de la ejecución.
-
NumberOfWorkers
: número (entero).La cantidad de procesos de trabajo de
G.1X
utilizados para la ejecución. El valor predeterminado es 5. -
Timeout
: número (entero), como mínimo 1.El tiempo de espera durante una ejecución en minutos. Es el tiempo máximo que una ejecución puede consumir recursos antes de que se termine y cambie al estado
TIMEOUT
. El valor predeterminado es 2880 minutos (48 horas). -
Status
: cadena UTF-8 (valores válidos:RUNNING
|FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
|CANCELED
|RECEIVED_BY_TASKRUNNER
).El estado de esta ejecución.
-
ErrorString
: cadena UTF-8.Las cadenas de error asociadas a la ejecución.
-
StartedOn
: marca temporal.La fecha y la hora en las que se inició esta ejecución.
-
LastModifiedOn
: marca temporal.Una marca temporal. El último momento dado en el que se modificó esta ejecución de recomendación de la regla de calidad de datos.
-
CompletedOn
: marca temporal.La fecha y la hora en las que se completó esta ejecución.
-
ExecutionTime
: número (entero).El tiempo (en segundos) que la ejecución de flujo de trabajo consumió recursos.
-
RecommendedRuleset
: cadena UTF-8, con 1 byte de largo como mínimo o 65 536 como máximo.Cuando se completa una ejecución de recomendación de reglas de inicio, se crea un conjunto de reglas recomendado (un conjunto de reglas). Este miembro tiene esas reglas en formato de lenguaje de definición de calidad de datos (DQDL).
-
CreatedRulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas que se creó durante la ejecución.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción ListDataQualityRuleRecommendationRuns (Python: list_data_quality_rule_recommendation_runs)
Muestra las ejecuciones de recomendación que cumplen los criterios del filtro.
Solicitud
-
Filter
: un objeto DataQualityRuleRecommendationRunFilter.Los criterios del filtro.
-
NextToken
: cadena UTF-8.Un token paginado para compensar los resultados.
-
MaxResults
: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados que devolver.
Respuesta
-
Runs
: matriz de objetos DataQualityRuleRecommendationRunDescription.Una lista de objetos
DataQualityRuleRecommendationRunDescription
. -
NextToken
: cadena UTF-8.Un token de paginación, si hay disponibles más resultados.
Errores
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción GetDataQualityResult (Python: get_data_quality_result)
Recupera el resultado de una evaluación de la regla de calidad de datos.
Solicitud
-
ResultId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un identificador de resultado único para el resultado de la calidad de los datos.
Respuesta
La respuesta al resultado de calidad de los datos.
-
ResultId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un identificador de resultado único para el resultado de la calidad de los datos.
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil para el resultado de la calidad de los datos.
-
Score
: número (doble), 1,0 como máximo.Una puntuación agregada de la calidad de los datos. Representa la relación entre las reglas aprobadas y la cantidad total de reglas.
-
DataSource
: un objeto DataSource.La tabla asociada al resultado de calidad de datos, si existe.
-
RulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas asociado al resultado de calidad de datos.
-
EvaluationContext
: cadena UTF-8.En relación con un trabajo en AWS Glue Studio, a cada nodo del lienzo se le suele asignar algún tipo de nombre y los nodos de calidad de datos tendrán nombres. En el caso de varios nodos,
evaluationContext
puede diferenciar los nodos. -
StartedOn
: marca temporal.La fecha y la hora en las que se inició la ejecución de este resultado de calidad de datos.
-
CompletedOn
: marca temporal.La fecha y la hora en las que se completó la ejecución de este resultado de calidad de datos.
-
JobName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del trabajo asociado al resultado de calidad de datos, si existe.
-
JobRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la ejecución del trabajo asociado al resultado de calidad de datos, si existe.
-
RulesetEvaluationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID único de ejecución asociado a la evaluación del conjunto de reglas.
-
RuleResults
: matriz de objetos DataQualityRuleResult, con 2000 estructuras como máximo.Una lista de objetos
DataQualityRuleResult
que representan los resultados de cada regla. -
AnalyzerResults
: matriz de objetos DataQualityAnalyzerResult, con 2000 estructuras como máximo.Una lista de objetos
DataQualityAnalyzerResult
que representan los resultados de cada analizador. -
Observations
: matriz de objetos DataQualityObservation, con 50 estructuras como máximo.Una lista de objetos
DataQualityObservation
que representan la observabilidad generada después de evaluar las reglas y los analizadores.
Errores
InvalidInputException
OperationTimeoutException
InternalServiceException
EntityNotFoundException
Acción BatchGetDataQualityResult (Python: batch_get_data_quality_result)
Recupera una lista de los resultados de calidad de datos para los ID de los resultados especificados.
Solicitud
-
ResultIds
: obligatorio: matriz de cadenas UTF-8, con una cadena como mínimo y 100 cadenas como máximo.Una lista de identificadores únicos de los resultados de los resultados de calidad de datos.
Respuesta
-
Results
(obligatorio): una matriz de objetos DataQualityResult.Una lista de objetos
DataQualityResult
que representa los resultados de calidad de datos. -
ResultsNotFound
: matriz de cadenas UTF-8, con una cadena como mínimo y 100 cadenas como máximo.Una lista de ID de los resultados para los que no se encontraron resultados.
Errores
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción ListDataQualityResults (Python: list_data_quality_results)
Devuelve todos los resultados de la ejecución de calidad de datos de su cuenta.
Solicitud
-
Filter
: un objeto DataQualityResultFilterCriteria.Los criterios del filtro.
-
NextToken
: cadena UTF-8.Un token paginado para compensar los resultados.
-
MaxResults
: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados que devolver.
Respuesta
-
Results
(obligatorio): una matriz de objetos DataQualityResultDescription.Una lista de objetos
DataQualityResultDescription
. -
NextToken
: cadena UTF-8.Un token de paginación, si hay disponibles más resultados.
Errores
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción CreateDataQualityRuleset (Python: create_data_quality_ruleset)
Crea un conjunto de reglas de la calidad de los datos con reglas de DQDL aplicadas a una tabla de AWS Glue especificada.
El conjunto de reglas se crea mediante lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
Solicitud
Una solicitud para crear un conjunto de reglas de calidad de datos.
-
Name
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Nombre único para el conjunto de reglas de la calidad de los datos.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas de calidad de datos.
-
Ruleset
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 65 536 como máximo.Conjunto de reglas de lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
-
Tags
: matriz de mapas de pares de clave-valor, con 50 pares como máximo.Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.
Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.
Una lista de etiquetas aplicadas al conjunto de reglas de calidad de datos.
-
TargetTable
: un objeto DataQualityTargetTable.Una tabla de destino asociada al conjunto de reglas de calidad de datos.
-
RecommendationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un identificador único de ejecución para la ejecución de recomendación.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
-
ClientToken
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Se usa para la idempotencia y se recomienda establecerlo en un identificador aleatorio (como un UUID) para evitar crear o iniciar varias instancias del mismo recurso.
Respuesta
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Nombre único para el conjunto de reglas de la calidad de los datos.
Errores
InvalidInputException
AlreadyExistsException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
Acción DeleteDataQualityRuleset (Python: delete_data_quality_ruleset)
Elimina un conjunto de reglas de la calidad de los datos.
Solicitud
-
Name
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un nombre para el conjunto de reglas de calidad de datos.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción GetDataQualityRuleset (Python: get_data_quality_ruleset)
Devuelve un conjunto de reglas existente por identificador o nombre.
Solicitud
-
Name
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas.
Respuesta
Devuelve la respuesta del resultado de calidad de los datos.
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas.
-
Ruleset
: cadena UTF-8, con 1 byte de largo como mínimo o 65 536 como máximo.Conjunto de reglas de lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
-
TargetTable
: un objeto DataQualityTargetTable.El nombre de la base de datos y el nombre de la tabla de destino.
-
CreatedOn
: marca temporal.Una marca temporal. La fecha y la hora en las que se creó este conjunto de reglas de calidad de datos.
-
LastModifiedOn
: marca temporal.Una marca temporal. El último momento dado en el que se modificó este conjunto de reglas de calidad de datos.
-
RecommendationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Cuando se crea un conjunto de reglas a partir de una ejecución de recomendación, se genera este ID de ejecución para vincularlos ambos.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción ListDataQualityRulesets (Python: list_data_quality_rulesets)
Devuelve una lista paginada de los conjuntos de reglas para la lista especificada de tablas de AWS Glue.
Solicitud
-
NextToken
: cadena UTF-8.Un token paginado para compensar los resultados.
-
MaxResults
: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados que devolver.
-
Filter
: un objeto DataQualityRulesetFilterCriteria.Los criterios del filtro.
-
Tags
: matriz de mapas de pares de clave-valor, con 50 pares como máximo.Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.
Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.
Una lista de etiquetas de par clave-valor.
Respuesta
-
Rulesets
: matriz de objetos DataQualityRulesetListDetails.Una lista paginada de los conjuntos de reglas para la lista especificada de tablas de AWS Glue.
-
NextToken
: cadena UTF-8.Un token de paginación, si hay disponibles más resultados.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción UpdateDataQualityRuleset (Python: update_data_quality_ruleset)
Actualiza el conjunto de reglas de calidad de datos especificado.
Solicitud
-
Name
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas de calidad de datos.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas.
-
Ruleset
: cadena UTF-8, con 1 byte de largo como mínimo o 65 536 como máximo.Conjunto de reglas de lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
Respuesta
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas de calidad de datos.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas.
-
Ruleset
: cadena UTF-8, con 1 byte de largo como mínimo o 65 536 como máximo.Conjunto de reglas de lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
Errores
EntityNotFoundException
AlreadyExistsException
IdempotentParameterMismatchException
InvalidInputException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
Acción ListDataQualityStatistics (Python: list_data_quality_statistics)
Recupera una lista de estadísticas de calidad de datos.
Solicitud
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil.
-
TimestampFilter
: un objeto TimestampFilter.Un filtro de fecha y hora.
-
MaxResults
: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados que se devuelven en esta solicitud.
-
NextToken
: cadena UTF-8.Un token de paginación para solicitar la siguiente página de resultados.
Respuesta
-
Statistics
: matriz de objetos StatisticSummary.Una
StatisticSummaryList
. -
NextToken
: cadena UTF-8.Un token de paginación para solicitar la siguiente página de resultados.
Errores
EntityNotFoundException
InvalidInputException
InternalServiceException
Estructura TimestampFilter
Un filtro de fecha y hora.
Campos
-
RecordedBefore
: marca temporal.La marca de tiempo antes de la cual se deben incluir las estadísticas en los resultados.
-
RecordedAfter
: marca temporal.La marca de tiempo después de la cual se deben incluir las estadísticas en los resultados.
Estructura CreateDataQualityRulesetRequest
Una solicitud para crear un conjunto de reglas de calidad de datos.
Campos
-
Name
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Nombre único para el conjunto de reglas de la calidad de los datos.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas de calidad de datos.
-
Ruleset
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 65 536 como máximo.Conjunto de reglas de lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
-
Tags
: matriz de mapas de pares de clave-valor, con 50 pares como máximo.Cada clave es una cadena UTF-8 con una longitud de entre 1 y 128 bytes.
Cada valor es una cadena UTF-8 que no tiene más de 256 bytes de largo.
Una lista de etiquetas aplicadas al conjunto de reglas de calidad de datos.
-
TargetTable
: un objeto DataQualityTargetTable.Una tabla de destino asociada al conjunto de reglas de calidad de datos.
-
RecommendationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un identificador único de ejecución para la ejecución de recomendación.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
-
ClientToken
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Se usa para la idempotencia y se recomienda establecerlo en un identificador aleatorio (como un UUID) para evitar crear o iniciar varias instancias del mismo recurso.
Estructura GetDataQualityRulesetResponse
Devuelve la respuesta del resultado de calidad de los datos.
Campos
-
Name
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas.
-
Description
: cadena de descripción de un máximo de 2048 bytes de largo, que coincide con el URI address multi-line string pattern.Una descripción del conjunto de reglas.
-
Ruleset
: cadena UTF-8, con 1 byte de largo como mínimo o 65 536 como máximo.Conjunto de reglas de lenguaje de definición de calidad de datos (DQDL). Para más información, consulte la Guía para desarrolladores de AWS Glue.
-
TargetTable
: un objeto DataQualityTargetTable.El nombre de la base de datos y el nombre de la tabla de destino.
-
CreatedOn
: marca temporal.Una marca temporal. La fecha y la hora en las que se creó este conjunto de reglas de calidad de datos.
-
LastModifiedOn
: marca temporal.Una marca temporal. El último momento dado en el que se modificó este conjunto de reglas de calidad de datos.
-
RecommendationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Cuando se crea un conjunto de reglas a partir de una ejecución de recomendación, se genera este ID de ejecución para vincularlos ambos.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
Estructura GetDataQualityResultResponse
La respuesta al resultado de calidad de los datos.
Campos
-
ResultId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un identificador de resultado único para el resultado de la calidad de los datos.
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil para el resultado de la calidad de los datos.
-
Score
: número (doble), 1,0 como máximo.Una puntuación agregada de la calidad de los datos. Representa la relación entre las reglas aprobadas y la cantidad total de reglas.
-
DataSource
: un objeto DataSource.La tabla asociada al resultado de calidad de datos, si existe.
-
RulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas asociado al resultado de calidad de datos.
-
EvaluationContext
: cadena UTF-8.En relación con un trabajo en AWS Glue Studio, a cada nodo del lienzo se le suele asignar algún tipo de nombre y los nodos de calidad de datos tendrán nombres. En el caso de varios nodos,
evaluationContext
puede diferenciar los nodos. -
StartedOn
: marca temporal.La fecha y la hora en las que se inició la ejecución de este resultado de calidad de datos.
-
CompletedOn
: marca temporal.La fecha y la hora en las que se completó la ejecución de este resultado de calidad de datos.
-
JobName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del trabajo asociado al resultado de calidad de datos, si existe.
-
JobRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la ejecución del trabajo asociado al resultado de calidad de datos, si existe.
-
RulesetEvaluationRunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID único de ejecución asociado a la evaluación del conjunto de reglas.
-
RuleResults
: matriz de objetos DataQualityRuleResult, con 2000 estructuras como máximo.Una lista de objetos
DataQualityRuleResult
que representan los resultados de cada regla. -
AnalyzerResults
: matriz de objetos DataQualityAnalyzerResult, con 2000 estructuras como máximo.Una lista de objetos
DataQualityAnalyzerResult
que representan los resultados de cada analizador. -
Observations
: matriz de objetos DataQualityObservation, con 50 estructuras como máximo.Una lista de objetos
DataQualityObservation
que representan la observabilidad generada después de evaluar las reglas y los analizadores.
Estructura StartDataQualityRuleRecommendationRunRequest
La solicitud de recomendación de la regla de calidad de los datos.
Campos
-
DataSource
: obligatorio: objeto DataSource.El origen de datos (tabla de AWS Glue) asociado a esta ejecución.
-
Role
– Obligatorio: cadena UTF-8.Un rol de IAM que se proporciona para cifrar los resultados de la ejecución.
-
NumberOfWorkers
: número (entero).La cantidad de procesos de trabajo de
G.1X
utilizados para la ejecución. El valor predeterminado es 5. -
Timeout
: número (entero), como mínimo 1.El tiempo de espera durante una ejecución en minutos. Es el tiempo máximo que una ejecución puede consumir recursos antes de que se termine y cambie al estado
TIMEOUT
. El valor predeterminado es 2880 minutos (48 horas). -
CreatedRulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Un nombre para el conjunto de reglas.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
-
ClientToken
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Se usa para la idempotencia y se recomienda establecerlo en un identificador aleatorio (como un UUID) para evitar crear o iniciar varias instancias del mismo recurso.
Estructura GetDataQualityRuleRecommendationRunResponse
La respuesta a la ejecución de la recomendación de la regla de calidad de los datos.
Campos
-
RunId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El identificador de ejecución único asociado a esta ejecución.
-
DataSource
: un objeto DataSource.El origen de datos (una tabla de AWS Glue) asociado a esta ejecución.
-
Role
: cadena UTF-8.Un rol de IAM que se proporciona para cifrar los resultados de la ejecución.
-
NumberOfWorkers
: número (entero).La cantidad de procesos de trabajo de
G.1X
utilizados para la ejecución. El valor predeterminado es 5. -
Timeout
: número (entero), como mínimo 1.El tiempo de espera durante una ejecución en minutos. Es el tiempo máximo que una ejecución puede consumir recursos antes de que se termine y cambie al estado
TIMEOUT
. El valor predeterminado es 2880 minutos (48 horas). -
Status
: cadena UTF-8 (valores válidos:RUNNING
|FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
|CANCELED
|RECEIVED_BY_TASKRUNNER
).El estado de esta ejecución.
-
ErrorString
: cadena UTF-8.Las cadenas de error asociadas a la ejecución.
-
StartedOn
: marca temporal.La fecha y la hora en las que se inició esta ejecución.
-
LastModifiedOn
: marca temporal.Una marca temporal. El último momento dado en el que se modificó esta ejecución de recomendación de la regla de calidad de datos.
-
CompletedOn
: marca temporal.La fecha y la hora en las que se completó esta ejecución.
-
ExecutionTime
: número (entero).El tiempo (en segundos) que la ejecución de flujo de trabajo consumió recursos.
-
RecommendedRuleset
: cadena UTF-8, con 1 byte de largo como mínimo o 65 536 como máximo.Cuando se completa una ejecución de recomendación de reglas de inicio, se crea un conjunto de reglas recomendado (un conjunto de reglas). Este miembro tiene esas reglas en formato de lenguaje de definición de calidad de datos (DQDL).
-
CreatedRulesetName
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre del conjunto de reglas que se creó durante la ejecución.
-
DataQualitySecurityConfiguration
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El nombre de la configuración de seguridad que se creó con la opción de cifrado de la calidad de los datos.
Acción BatchPutDataQualityStatisticAnnotation (Python: batch_put_data_quality_statistic_annotation)
Anote los puntos de datos a lo largo del tiempo para obtener una estadística de calidad de datos específica.
Solicitud
-
InclusionAnnotations
(obligatorio): una matriz de objetos DatapointInclusionAnnotation.Una lista de
DatapointInclusionAnnotation
. -
ClientToken
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.Token de cliente.
Respuesta
-
FailedInclusionAnnotations
: matriz de objetos AnnotationError.Una lista de
AnnotationError
.
Errores
EntityNotFoundException
InvalidInputException
InternalServiceException
ResourceNumberLimitExceededException
Acción GetDataQualityModel (Python: get_data_quality_model)
Recupera el estado de entrenamiento del modelo junto con más información (CompletedOn, StartedOn, FailureReason).
Solicitud
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
ProfileId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil.
Respuesta
-
Status
: cadena UTF-8 (valores válidos:RUNNING
|SUCCEEDED
|FAILED
).El estado de entrenamiento del modelo de calidad de los datos.
-
StartedOn
: marca temporal.La marca de tiempo en la que se inició el entrenamiento del modelo de calidad de datos.
-
CompletedOn
: marca temporal.La marca de tiempo en la que se completó el entrenamiento del modelo de calidad de datos.
-
FailureReason
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El motivo del error del entrenamiento.
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción GetDataQualityModelResult (Python: get_data_quality_model_result)
Recupera las predicciones de una estadística para un ID de perfil determinado.
Solicitud
-
StatisticId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
ProfileId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil.
Respuesta
-
CompletedOn
: marca temporal.La marca de tiempo en la que se completó el entrenamiento del modelo de calidad de datos.
-
Model
: matriz de objetos StatisticModelResult.Una lista de
StatisticModelResult
Errores
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
Acción ListDataQualityStatisticAnnotations (Python: list_data_quality_statistic_annotations)
Recupera las anotaciones de una estadística de calidad de datos.
Solicitud
-
StatisticId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de la estadística.
-
ProfileId
: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID de perfil.
-
TimestampFilter
: un objeto TimestampFilter.Un filtro de fecha y hora.
-
MaxResults
: número (entero) que no es inferior a 1 ni es superior a 1000.El número máximo de resultados que se devuelven en esta solicitud.
-
NextToken
: cadena UTF-8.Un token de paginación para recuperar el siguiente conjunto de resultados.
Respuesta
-
Annotations
: matriz de objetos StatisticAnnotation.Una lista de
StatisticAnnotation
que se aplica a la estadística -
NextToken
: cadena UTF-8.Un token de paginación para recuperar el siguiente conjunto de resultados.
Errores
InvalidInputException
InternalServiceException
Acción PutDataQualityProfileAnnotation (Python: put_data_quality_profile_annotation)
Anote todos los puntos de datos de un perfil.
Solicitud
-
ProfileId
: obligatorio: cadena UTF-8, con 1 byte de largo como mínimo y 255 bytes de largo como máximo, que coincide con el Single-line string pattern.El ID del perfil de supervisión de la calidad de los datos que se va a anotar.
-
InclusionAnnotation
: obligatorio: cadena UTF-8 (valores válidos:INCLUDE
|EXCLUDE
).El valor de la anotación de inclusión que se va a aplicar al perfil.
Respuesta
Sin parámetros de respuesta.
Errores
EntityNotFoundException
InvalidInputException
InternalServiceException