API di qualità dei dati

• DataSource struttura

• DataQualityRulesetListDetails struttura

• DataQualityTargetTable struttura

• DataQualityRulesetEvaluationRunDescription struttura

• DataQualityRulesetEvaluationRunFilter struttura

• DataQualityEvaluationRunAdditionalRunOptions struttura

• DataQualityRuleRecommendationRunDescription struttura

• DataQualityRuleRecommendationRunFilter struttura

• DataQualityResult struttura

• DataQualityAnalyzerResult struttura

• DataQualityObservation struttura

• MetricBasedObservation struttura

• DataQualityMetricValues struttura

• DataQualityRuleResult struttura

• DataQualityResultDescription struttura

• DataQualityResultFilterCriteria struttura

• DataQualityRulesetFilterCriteria struttura

• DataQualityAggregatedMetrics struttura

• StatisticAnnotation struttura

• TimestampedInclusionAnnotation struttura

• AnnotationError struttura

• DatapointInclusionAnnotation struttura

• StatisticSummaryList - elenco

• StatisticSummary struttura

• RunIdentifier struttura

• StatisticModelResult struttura

• DataQualityGlueTable struttura

• DataQualityRuleRecommendationRunAdditionalRunOptions struttura

• DataQualityRuleResultsOptions struttura

• DistributionData struttura

• ObservationResultsOptions struttura

• ProfilingResultsOptions struttura

• RowLevelResultsOptions struttura

• CatalogTableConfigOptions struttura

• DistributionResultsOptions struttura

Campi

• GlueTable: un oggetto GlueTable.

  Una AWS Glue tabella.

• DataQualityGlueTable: un oggetto DataQualityGlueTable.

  Una AWS Glue tabella per le operazioni di qualità dei dati.

Campi

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole di qualità dei dati.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole di qualità dei dati.

• CreatedOn: timestamp.

  La data e l'ora di creazione del set di regole della qualità dei dati.

• LastModifiedOn: timestamp.

  La data e l'ora di modifica del set di regole della qualità dei dati.

• TargetTable: un oggetto DataQualityTargetTable.

  Un oggetto che rappresenta una AWS Glue tabella.

• RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Quando un set di regole è stato creato da un'esecuzione di raccomandazione, questo ID di esecuzione viene generato per collegare i due.

• RuleCount: numero (intero).

  Il numero di regole nel set di regole.

Campi

• TableName— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della AWS Glue tabella.

• DatabaseName— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente alSingle-line string pattern.

  Il nome del database in cui esiste la AWS Glue tabella.

• CatalogId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID del catalogo dove esiste la AWS Glue tabella.

Campi

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

• Status— UTF-8 stringa (valori validi: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

  Lo stato di questa esecuzione.

• StartedOn: timestamp.

  La data e l'ora di inizio dell'esecuzione.

• DataSource: un oggetto DataSource.

  L'origine dati (una AWS Glue tabella) associata all'esecuzione.

Campi

• DataSource - obbligatorio: un oggetto DataSource.

  Filtro basato su un'origine dati (una AWS Glue tabella) associata all'esecuzione.

• StartedBefore: timestamp.

  Filtra i risultati in base alle esecuzioni iniziate prima di questo momento.

• StartedAfter: timestamp.

  Filtra i risultati in base alle esecuzioni iniziate dopo questo momento.

• RulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Filtra i risultati in base al nome del set di regole.

Campi

• CloudWatchMetricsEnabled: booleano.

  Se abilitare o meno le CloudWatch metriche.

• ResultsS3Prefix— UTF-8 stringa.

  Prefisso per Amazon S3 per archiviare i risultati.

• CompositeRuleEvaluationMethod— UTF-8 stringa (valori validi: COLUMN |ROW).

  Imposta il metodo di valutazione per le regole composite nel set di regole su ROW/COLUMN

• CustomLogGroupPrefix— stringa UTF-8 .

  Un prefisso personalizzato per i nomi dei gruppi di CloudWatch log. Quando specificato, i log dell'esecuzione della valutazione vengono scritti nei gruppi predefiniti /aws-glue/data-quality/error e di /aws-glue/data-quality/output log e <CustomLogGroupPrefix>/output anziché. <CustomLogGroupPrefix>/error

• RowLevelResults: un oggetto RowLevelResultsOptions.

  La configurazione per scrivere i risultati della valutazione a livello di riga in una AWS Glue Data Catalog tabella.

• ProfilingResults: un oggetto ProfilingResultsOptions.

  La configurazione per scrivere i risultati della profilazione in una tabella. AWS Glue Data Catalog

• ObservationScope— UTF-8 stringa (valori validi: ALL |NONE).

  L'ambito dell'osservazione per l'esecuzione della valutazione. Specifica se il rilevamento delle anomalie è abilitato o disabilitato.

• ObservationMode— UTF-8 stringa (valori validi: SCHEDULED |FIXED).

  La modalità di osservazione per l'esecuzione della valutazione. Specifica come vengono calcolati i limiti di rilevamento delle anomalie.

• DataQualityRuleResults: un oggetto DataQualityRuleResultsOptions.

  La configurazione per la scrittura dei risultati delle regole in una tabella. AWS Glue Data Catalog

• ObservationResults: un oggetto ObservationResultsOptions.

  La configurazione per scrivere i risultati delle osservazioni in una AWS Glue Data Catalog tabella.

Campi

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

• Status— UTF-8 stringa (valori validi: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

  Lo stato di questa esecuzione.

• StartedOn: timestamp.

  La data e l'ora in cui è stata avviata questa esecuzione.

• DataSource: un oggetto DataSource.

  L'origine dati (AWS Glue tabella) associata all'esecuzione del consiglio.

• CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole creato dall'esecuzione del consiglio.

Campi

• DataSource - obbligatorio: un oggetto DataSource.

  Filtro basato su una fonte di dati specificata (AWS Glue tabella).

• StartedBefore: timestamp.

  Filtra in base all'ora per i risultati avviati prima dell'ora indicata.

• StartedAfter: timestamp.

  Filtra in base all'ora per i risultati avviati dopo l'ora indicata.

Campi

• ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un ID di risultato univoco per il risultato della qualità dei dati.

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo del risultato di qualità dei dati.

• Score: numero (doppio), non superiore a 1.

  Un punteggio aggregato della qualità dei dati. Rappresenta il rapporto tra le regole inviate e il numero totale di regole.

• DataSource: un oggetto DataSource.

  La tabella associata al risultato della qualità dei dati, se presente.

• RulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole associato al risultato della qualità dei dati.

• EvaluationContext— UTF-8 stringa.

  Nel contesto di un lavoro in AWS Glue Studio, a ciascun nodo dell'area di disegno viene in genere assegnato un nome e ai nodi di qualità dei dati viene assegnato un nome. Nel caso di più nodi, evaluationContext può differenziare i nodi.

• StartedOn: timestamp.

  La data e ora di inizio di questa esecuzione della qualità dei dati.

• CompletedOn: timestamp.

  La data e ora di completamento dell'esecuzione della qualità dei dati.

• JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del processo associato al risultato della qualità dei dati, se presente.

• JobRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione del processo associato al risultato della qualità dei dati, se presente.

• RulesetEvaluationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione univoco per la valutazione del set di regole per questo risultato di qualità dei dati.

• RuleResults: una matrice di oggetti DataQualityRuleResult, non superiore a 2.000 strutture.

  Un elenco di oggetti DataQualityRuleResult che rappresentano i risultati per ogni regola.

• AnalyzerResults: una matrice di oggetti DataQualityAnalyzerResult, non superiore a 2.000 strutture.

  Un elenco di oggetti DataQualityAnalyzerResult che rappresentano i risultati per ogni analizzatore.

• Observations: una matrice di oggetti DataQualityObservation, non superiore a 50 strutture.

  Un elenco di oggetti DataQualityObservation che rappresentano le osservazioni generate dopo la valutazione di regole e analizzatori.

• AggregatedMetrics: un oggetto DataQualityAggregatedMetrics.

  Un riepilogo degli DataQualityAggregatedMetrics oggetti che mostra il numero totale di righe e regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.

Campi

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome dello strumento di analisi della qualità dei dati.

• Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  Una descrizione dello strumento di analisi della qualità dei dati.

• EvaluationMessage— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  Un messaggio di valutazione.

• EvaluatedMetrics: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Ogni valore è un numero (doppio).

  Una mappa dei parametri associati alla valutazione dello strumento di analisi.

• EvaluatedDistributions: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente al. Single-line string pattern

  Ogni valore è un oggetto DistributionData.

  Una mappa delle metriche di distribuzione associate alla valutazione dell'analizzatore.

Campi

• Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  Una descrizione dell'osservazione della qualità dei dati.

• MetricBasedObservation: un oggetto MetricBasedObservation.

  Un oggetto di tipo MetricBasedObservation che rappresenta l'osservazione basata sui parametri di qualità dei dati valutati.

Campi

• MetricName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del parametro di qualità dei dati utilizzato per generare l'osservazione.

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• MetricValues: un oggetto DataQualityMetricValues.

  Un oggetto di tipo DataQualityMetricValues che rappresenta l'analisi del valore del parametro di qualità dei dati.

• NewRules— Una serie di UTF-8 stringhe.

  Un elenco di nuove regole sulla qualità dei dati generate nell'ambito dell'osservazione basata sul valore dei parametri di qualità dei dati.

Campi

• ActualValue: numero (doppio).

  Il valore effettivo del parametro di qualità dei dati.

• ExpectedValue: numero (doppio).

  Il valore previsto del parametro di qualità dei dati in base all'analisi dei dati storici.

• LowerLimit: numero (doppio).

  Il limite inferiore del valore del parametro di qualità dei dati in base all'analisi dei dati storici.

• UpperLimit: numero (doppio).

  Il limite superiore del valore del parametro di qualità dei dati in base all'analisi dei dati storici.

Campi

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della regola di qualità dei dati.

• Description— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  Una descrizione della regola di qualità dei dati.

• EvaluationMessage— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  Un messaggio di valutazione.

• Result— UTF-8 stringa (valori validi: PASS | FAIL |ERROR).

  Lo stato positivo o negativo per la regola.

• EvaluatedMetrics: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente alSingle-line string pattern.

  Ogni valore è un numero (doppio).

  Una mappa dei parametri associati alla valutazione della regola.

• EvaluatedRule— UTF-8 stringa, lunga non più di 2048 byte, corrispondente a. URI address multi-line string pattern

  La regola oggetto di valutazione.

• RuleMetrics: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Ogni valore è un numero (doppio).

  Una mappa contenente i parametri associati alla valutazione della regola in base ai risultati a livello di riga.

• Labels: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente al. Single-line string pattern

  Ogni valore è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Una mappa contenente le etichette assegnate alla regola di qualità dei dati.

Campi

• ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID del risultato univoco per questo risultato della qualità dei dati.

• DataSource: un oggetto DataSource.

  Il nome della tabella associata al risultato della qualità dei dati.

• JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del processo associato al risultato della qualità dei dati.

• JobRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione del processo associato al risultato della qualità dei dati.

• StartedOn: timestamp.

  L'ora di inizio dell'esecuzione per questo risultato di qualità dei dati.

Campi

• DataSource: un oggetto DataSource.

  Filtra i risultati in base all'origine dati specificata. Ad esempio, il recupero di tutti i risultati per una AWS Glue tabella.

• JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Filtra i risultati in base al nome del processo specificato.

• JobRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Filtra i risultati in base all'ID di esecuzione del processo specificato.

• StartedAfter: timestamp.

  Filtra i risultati in base alle esecuzioni iniziate dopo questo momento.

• StartedBefore: timestamp.

  Filtra i risultati in base alle esecuzioni iniziate prima di questo momento.

Campi

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del criterio di filtro del set di regole.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  La descrizione dei criteri di filtro del set di regole.

• CreatedBefore: timestamp.

  Filtra i set di regole creati prima di questa data.

• CreatedAfter: timestamp.

  Filtra i set di regole creati dopo questa data.

• LastModifiedBefore: timestamp.

  Filtra i set di regole modificati per l'ultima volta prima di questa data.

• LastModifiedAfter: timestamp.

  Filtra i set di regole modificati per l'ultima volta dopo questa data.

• TargetTable: un oggetto DataQualityTargetTable.

  Il nome e il nome del database della tabella di destinazione.

Campi

• TotalRowsProcessed: numero (doppio).

  Il numero totale di righe elaborate durante la valutazione della qualità dei dati.

• TotalRowsPassed: numero (doppio).

  Il numero totale di righe che hanno superato tutte le regole di qualità dei dati applicabili.

• TotalRowsFailed: numero (doppio).

  Il numero totale di righe che non hanno superato una o più regole di qualità dei dati.

• TotalRulesProcessed: numero (doppio).

  Il numero totale di regole di qualità dei dati valutate.

• TotalRulesPassed: numero (doppio).

  Il numero totale di regole di qualità dei dati che hanno superato i criteri di valutazione.

• TotalRulesFailed: numero (doppio).

  Il numero totale di regole di qualità dei dati che non hanno superato i criteri di valutazione.

Campi

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo.

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• StatisticRecordedOn: timestamp.

  Il timestamp del momento in cui è stata registrata la statistica annotata.

• InclusionAnnotation: un oggetto TimestampedInclusionAnnotation.

  L'annotazione di inclusione applicata alla statistica.

Campi

• Value— UTF-8 stringa (valori validi: INCLUDE |EXCLUDE).

  Il valore dell'annotazione di inclusione.

• LastModifiedOn: timestamp.

  Il timestamp del momento in cui è avvenuta l'ultima modifica dell'annotazione di inclusione.

Campi

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo dell'annotazione non riuscita.

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica dell'annotazione non riuscita.

• FailureReason: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Il motivo per cui l'annotazione non è riuscita.

Campi

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID del profilo di qualità dei dati a cui appartiene la statistica.

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• InclusionAnnotation— UTF-8 stringa (valori validi: INCLUDE |EXCLUDE).

  Il valore dell'annotazione di inclusione da applicare alla statistica.

Campi

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo.

• RunIdentifier: un oggetto RunIdentifier.

  L'identificatore dell'esecuzione

• StatisticName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Custom string pattern #21

  Il nome della statistica.

• DoubleValue: numero (doppio).

  Il valore della statistica.

• DistributionValue: un oggetto DistributionData.

  Il valore di distribuzione per la statistica.

• EvaluationLevel— UTF-8 stringa (valori validi: Dataset="DATASET" | Column="COLUMN" |Multicolumn="MULTICOLUMN").

  Il livello di valutazione della statistica. Valori possibili: Dataset, Column, Multicolumn.

• ColumnsReferenced— Una serie di UTF-8 stringhe.

  L'elenco delle colonne a cui fa riferimento la statistica.

• ReferencedDatasets— Una serie di UTF-8 stringhe.

  L'elenco dei set di dati a cui fa riferimento la statistica.

• StatisticProperties: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Ogni valore è una stringa Description, non superiore a 2.048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una StatisticPropertiesMap, che contiene una NameString e una DescriptionString

• RecordedOn: timestamp.

  Il timestamp del momento in cui è stata registrata la statistica.

• InclusionAnnotation: un oggetto TimestampedInclusionAnnotation.

  L'annotazione di inclusione della statistica.

Campi

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione.

• JobRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID del processo di esecuzione.

Campi

• LowerBound: numero (doppio).

  Il limite inferiore.

• UpperBound: numero (doppio).

  Il limite superiore.

• PredictedValue: numero (doppio).

  Il valore previsto.

• ActualValue: numero (doppio).

  Il valore effettivo.

• Date: timestamp.

  La data.

• InclusionAnnotation— UTF-8 stringa (valori validi: INCLUDE |EXCLUDE).

  L'annotazione di inclusione.

Campi

• DatabaseName— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome del database in AWS Glue Data Catalog.

• TableName— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome della tabella in AWS Glue Data Catalog.

• CatalogId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un identificatore univoco per AWS Glue Data Catalog.

• ConnectionName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Nome della connessione a AWS Glue Data Catalog.

• AdditionalOptions: una matrice di mappe di coppie chiave-valore, non meno di 1 o più di 10 coppie.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Ogni valore è una stringa Description, non superiore a 2.048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Opzioni aggiuntive per la tabella. Al momento sono supportate due chiavi:

  • pushDownPredicate: filtra le partizioni senza dover elencare e leggere tutti i file nel set di dati.

  • catalogPartitionPredicate: per utilizzare l'eliminazione delle partizioni lato server utilizzando gli indici delle partizioni in AWS Glue Data Catalog.

• PreProcessingQuery— UTF-8 stringa, lunga non più di 51200 byte, corrispondente a. URI address multi-line string pattern

  Query SQL in formato SparkSQL che può essere utilizzata per preelaborare i dati per la tabella in AWS Glue Data Catalog, prima di eseguire l'operazione di qualità dei dati.

Campi

• CustomLogGroupPrefix— UTF-8 stringa.

  Un prefisso personalizzato per i nomi dei gruppi di CloudWatch log. Quando specificato, i log di esecuzione dei consigli vengono scritti <CustomLogGroupPrefix>/output nei gruppi di /aws-glue/data-quality/output log /aws-glue/data-quality/error e predefiniti. <CustomLogGroupPrefix>/error

Campi

• WriteDataQualityRuleResultsEnabled: booleano.

  Impostato su true per scrivere i risultati delle regole di qualità dei dati.

• CatalogTableConfig: un oggetto CatalogTableConfigOptions.

  La configurazione della AWS Glue Data Catalog tabella per l'archiviazione dei risultati delle regole.

Campi

• BinEdges— Una serie di UTF-8 stringhe.

  I valori del bordo del contenitore per la distribuzione.

• Count: una matrice di numeri interi a 32 bit firmati.

  Il conteggio delle frequenze per ogni contenitore nella distribuzione.

• DataType— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il tipo di dati della colonna per la distribuzione.

Campi

• WriteObservationResultsEnabled: booleano.

  Impostato su true per scrivere i risultati delle osservazioni.

• CatalogTableConfig: un oggetto CatalogTableConfigOptions.

  La configurazione della AWS Glue Data Catalog tabella per la memorizzazione dei risultati dell'osservazione.

Campi

• WriteProfilingResultsEnabled: booleano.

  Impostato su true per scrivere i risultati della profilazione.

• CatalogTableConfig: un oggetto CatalogTableConfigOptions.

  La configurazione della AWS Glue Data Catalog tabella per la memorizzazione dei risultati della profilazione.

• DistributionResults: un oggetto DistributionResultsOptions.

  La configurazione per la scrittura dei risultati di distribuzione.

Campi

• MaxRowsToWrite: numero (intero).

  Il numero massimo di righe da scrivere nei risultati.

• ResultType— UTF-8 stringa (valori validi: ALL | PASSED_ONLY |FAILED_ONLY).

  Il tipo di risultato da includere nell'output dei risultati a livello di riga.

• CatalogTableConfig: un oggetto CatalogTableConfigOptions.

  La configurazione della AWS Glue Data Catalog tabella per l'archiviazione dei risultati.

Campi

• DatabaseName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del database in. AWS Glue Data Catalog

• TableName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente alSingle-line string pattern.

  Il nome della tabella in. AWS Glue Data Catalog

• S3Location— UTF-8 stringa.

  La posizione di Amazon S3 per l'archiviazione dei risultati.

• CatalogId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un identificatore univoco per AWS Glue Data Catalog.

Campi

• WriteDistributionResultsEnabled: booleano.

  Impostato su true per scrivere i risultati di distribuzione.

• CatalogTableConfig: un oggetto CatalogTableConfigOptions.

  La configurazione della AWS Glue Data Catalog tabella per la memorizzazione dei risultati della distribuzione.

• StartDataQualityRulesetEvaluationRun azione (Python: start_data_quality_ruleset_evaluation_run)

• CancelDataQualityRulesetEvaluationRun azione (Python: cancel_data_quality_ruleset_evaluation_run)

• GetDataQualityRulesetEvaluationRun azione (Python: get_data_quality_ruleset_evaluation_run)

• ListDataQualityRulesetEvaluationRuns azione (Python: list_data_quality_ruleset_evaluation_runs)

• StartDataQualityRuleRecommendationRun azione (Python: start_data_quality_rule_recommendation_run)

• CancelDataQualityRuleRecommendationRun azione (Python: cancel_data_quality_rule_recommendation_run)

• GetDataQualityRuleRecommendationRun azione (Python: get_data_quality_rule_recommendation_run)

• ListDataQualityRuleRecommendationRuns azione (Python: list_data_quality_rule_recommendation_runs)

• GetDataQualityResult azione (Python: get_data_quality_result)

• BatchGetDataQualityResult azione (Python: batch_get_data_quality_result)

• ListDataQualityResults azione (Python: list_data_quality_results)

• CreateDataQualityRuleset azione (Python: create_data_quality_ruleset)

• DeleteDataQualityRuleset azione (Python: delete_data_quality_ruleset)

• GetDataQualityRuleset azione (Python: get_data_quality_ruleset)

• ListDataQualityRulesets azione (Python: list_data_quality_rulesets)

• UpdateDataQualityRuleset azione (Python: update_data_quality_ruleset)

• ListDataQualityStatistics azione (Python: list_data_quality_statistics)

• TimestampFilter struttura

• CreateDataQualityRulesetRequest struttura

• GetDataQualityRulesetResponse struttura

• GetDataQualityResultResponse struttura

• StartDataQualityRuleRecommendationRunRequest struttura

• GetDataQualityRuleRecommendationRunResponse struttura

• BatchPutDataQualityStatisticAnnotation azione (Python: batch_put_data_quality_statistic_annotation)

• GetDataQualityModel azione (Python: get_data_quality_model)

• GetDataQualityModelResult azione (Python: get_data_quality_model_result)

• ListDataQualityStatisticAnnotations azione (Python: list_data_quality_statistic_annotations)

• PutDataQualityProfileAnnotation azione (Python: put_data_quality_profile_annotation)

Richiesta

• DataSource - obbligatorio: un oggetto DataSource.

  L'origine dati (AWS Glue tabella) associata a questa esecuzione.

• Role— Obbligatorio: UTF-8 stringa.

  Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.

• NumberOfWorkers: numero (intero).

  Il numero di worker G.1X da utilizzare nell'esecuzione. Il predefinito è 5.

• Timeout: numero (intero), almeno 1.

  Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Il valore di default è 2.880 minuti (48 ore).

• ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Utilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.

• AdditionalRunOptions: un oggetto DataQualityEvaluationRunAdditionalRunOptions.

  Opzioni di esecuzione aggiuntive che è possibile specificare per l'esecuzione di una valutazione.

• RulesetNames— Obbligatorio: una matrice di UTF-8 stringhe, non inferiore a 1 o più di 10 stringhe.

  Un elenco di nomi di set di regole.

• AdditionalDataSources: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Ogni valore è un oggetto DataSource.

  Una mappa di stringhe di riferimento a origini dati aggiuntive che è possibile specificare per l'esecuzione di una valutazione.

Risposta

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

Errori

• InvalidInputException

• EntityNotFoundException

• OperationTimeoutException

• InternalServiceException

• ConflictException

Richiesta

• RunId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• RunId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

Risposta

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

• DataSource: un oggetto DataSource.

  L'origine dati (una AWS Glue tabella) associata a questa esecuzione di valutazione.

• Role— UTF-8 stringa.

  Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.

• NumberOfWorkers: numero (intero).

  Il numero di worker G.1X da utilizzare nell'esecuzione. Il predefinito è 5.

• Timeout: numero (intero), almeno 1.

  Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Il valore di default è 2.880 minuti (48 ore).

• AdditionalRunOptions: un oggetto DataQualityEvaluationRunAdditionalRunOptions.

  Opzioni di esecuzione aggiuntive che è possibile specificare per l'esecuzione di una valutazione.

• Status— UTF-8 stringa (valori validi: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

  Lo stato di questa esecuzione.

• ErrorString— UTF-8 stringa.

  Le stringhe di errore associate all'esecuzione.

• StartedOn: timestamp.

  La data e l'ora in cui è stata avviata questa esecuzione.

• LastModifiedOn: timestamp.

  Un Timestamp. L'ultimo momento in cui questa raccomandazione della regola di qualità dei dati è stata modificata.

• CompletedOn: timestamp.

  La data e l'ora in cui è stata completata questa esecuzione.

• ExecutionTime: numero (intero).

  La quantità di tempo (in secondi) durante la quale l'esecuzione ha utilizzato le risorse.

• RulesetNames— Una matrice di UTF-8 stringhe, non meno di 1 o più di 10 stringhe.

  Un elenco di nomi dei set di regole per l'esecuzione. Attualmente, questo parametro accetta un solo nome di set di regole.

• ResultIds— Un array di UTF-8 stringhe, non meno di 1 o più di 10 stringhe.

  Un elenco di ID dei risultati per i risultati della qualità dei dati per l'esecuzione.

• AdditionalDataSources: una matrice della mappa di coppie chiave-valore.

  Ogni chiave è una UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Ogni valore è un oggetto DataSource.

  Una mappa di stringhe di riferimento a origini dati aggiuntive che è possibile specificare per l'esecuzione di una valutazione.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• Filter: un oggetto DataQualityRulesetEvaluationRunFilter.

  I criteri di filtro.

• NextToken UTF-8 — stringa.

  Un token di paginazione per partizionare i risultati.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire.

Risposta

• Runs: una matrice di oggetti DataQualityRulesetEvaluationRunDescription.

  Un elenco di oggetti DataQualityRulesetEvaluationRunDescription che rappresentano le esecuzioni del set di regole della qualità dei dati.

• NextToken— UTF-8 corda.

  Un token di impaginazione, se sono disponibili altri risultati.

Errori

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

La richiesta di raccomandazione della regola di qualità dei dati.

• DataSource - obbligatorio: un oggetto DataSource.

  L'origine dati (AWS Glue tabella) associata a questa esecuzione.

• Role— Obbligatorio: UTF-8 stringa.

  Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.

• NumberOfWorkers: numero (intero).

  Il numero di worker G.1X da utilizzare nell'esecuzione. Il predefinito è 5.

• Timeout: numero (intero), almeno 1.

  Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Il valore di default è 2.880 minuti (48 ore).

• CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome per il set di regole.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

• ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Utilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.

• AdditionalRunOptions: un oggetto DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opzioni di esecuzione aggiuntive che è possibile specificare per un'esecuzione consigliata.

Risposta

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

Errori

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ConflictException

Richiesta

• RunId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• RunId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

Risposta

La risposta dell'esecuzione della raccomandazione della regola di qualità dei dati.

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

• DataSource: un oggetto DataSource.

  L'origine dati (una AWS Glue tabella) associata a questa esecuzione.

• Role— UTF-8 stringa.

  Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.

• NumberOfWorkers: numero (intero).

  Il numero di worker G.1X da utilizzare nell'esecuzione. Il predefinito è 5.

• Timeout: numero (intero), almeno 1.

  Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Il valore di default è 2.880 minuti (48 ore).

• Status— UTF-8 stringa (valori validi: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

  Lo stato di questa esecuzione.

• ErrorString— UTF-8 stringa.

  Le stringhe di errore associate all'esecuzione.

• StartedOn: timestamp.

  La data e l'ora in cui è stata avviata questa esecuzione.

• LastModifiedOn: timestamp.

  Un Timestamp. L'ultimo momento in cui questa raccomandazione della regola di qualità dei dati è stata modificata.

• CompletedOn: timestamp.

  La data e l'ora in cui è stata completata questa esecuzione.

• ExecutionTime: numero (intero).

  La quantità di tempo (in secondi) durante la quale l'esecuzione ha utilizzato le risorse.

• RecommendedRuleset— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.

  Una volta completata l'esecuzione di una raccomandazione della regola di avvio, viene creato un set di regole consigliato (una serie di regole). Questo membro ha queste regole nel formato DQDL (Data Quality Definition Language).

• CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole che è stato creato dall'esecuzione.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

• AdditionalRunOptions: un oggetto DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opzioni di esecuzione aggiuntive che è possibile specificare per un'esecuzione consigliata.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• Filter: un oggetto DataQualityRuleRecommendationRunFilter.

  I criteri di filtro.

• NextToken UTF-8 — stringa.

  Un token di paginazione per partizionare i risultati.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire.

• Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una UTF-8 stringa lunga non meno di 1 o più di 128 byte.

  Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.

  Un elenco di tag di coppia chiave-valore per filtrare le esecuzioni consigliate.

Risposta

• Runs: una matrice di oggetti DataQualityRuleRecommendationRunDescription.

  Elenco di oggetti DataQualityRuleRecommendationRunDescription.

• NextToken— stringa UTF-8 .

  Un token di impaginazione, se sono disponibili altri risultati.

Errori

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• ResultId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un ID di risultato univoco per il risultato della qualità dei dati.

Risposta

La risposta del risultato di qualità dei dati.

• ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un ID di risultato univoco per il risultato della qualità dei dati.

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo del risultato di qualità dei dati.

• Score: numero (doppio), non superiore a 1.

  Un punteggio aggregato della qualità dei dati. Rappresenta il rapporto tra le regole inviate e il numero totale di regole.

• DataSource: un oggetto DataSource.

  La tabella associata al risultato della qualità dei dati, se presente.

• RulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole associato al risultato della qualità dei dati.

• EvaluationContext— UTF-8 stringa.

  Nel contesto di un lavoro in AWS Glue Studio, a ciascun nodo dell'area di disegno viene in genere assegnato un nome e ai nodi di qualità dei dati viene assegnato un nome. Nel caso di più nodi, evaluationContext può differenziare i nodi.

• StartedOn: timestamp.

  La data e ora di inizio dell'esecuzione di questo risultato della qualità dei dati.

• CompletedOn: timestamp.

  La data e ora di completamento dell'esecuzione di questo risultato della qualità dei dati.

• JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del processo associato al risultato della qualità dei dati, se presente.

• JobRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione del processo associato al risultato della qualità dei dati, se presente.

• RulesetEvaluationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione univoco associato alla valutazione del set di regole.

• RuleResults: una matrice di oggetti DataQualityRuleResult, non superiore a 2.000 strutture.

  Un elenco di oggetti DataQualityRuleResult che rappresentano i risultati per ogni regola.

• AnalyzerResults: una matrice di oggetti DataQualityAnalyzerResult, non superiore a 2.000 strutture.

  Un elenco di oggetti DataQualityAnalyzerResult che rappresentano i risultati per ogni analizzatore.

• Observations: una matrice di oggetti DataQualityObservation, non superiore a 50 strutture.

  Un elenco di oggetti DataQualityObservation che rappresentano le osservazioni generate dopo la valutazione di regole e analizzatori.

• AggregatedMetrics: un oggetto DataQualityAggregatedMetrics.

  Un riepilogo degli DataQualityAggregatedMetrics oggetti che mostra il numero totale di righe e regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.

Errori

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• EntityNotFoundException

Richiesta

• ResultIds— Obbligatorio: un array di stringhe, non meno di 1 o più di UTF-8 100 stringhe.

  Un elenco di ID dei risultati univoci per i risultati della qualità dei dati.

Risposta

• Results - obbligatorio: una matrice di oggetti DataQualityResult.

  Un elenco di oggetti DataQualityResult che rappresentano i risultati della qualità dei dati.

• ResultsNotFound— Una serie di UTF-8 stringhe, non meno di 1 o più di 100 stringhe.

  Un elenco di ID dei risultati per i quali non sono stati trovati risultati.

Errori

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• Filter: un oggetto DataQualityResultFilterCriteria.

  I criteri di filtro.

• NextToken UTF-8 — stringa.

  Un token di paginazione per partizionare i risultati.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire.

Risposta

• Results - obbligatorio: una matrice di oggetti DataQualityResultDescription.

  Elenco di oggetti DataQualityResultDescription.

• NextToken— UTF-8 corda.

  Un token di impaginazione, se sono disponibili altri risultati.

Errori

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

Una richiesta di creazione di un set di regole di qualità dei dati.

• Name— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente alSingle-line string pattern.

  Un nome univoco per il set di regole di qualità dei dati.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole di qualità dei dati.

• Ruleset— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 65536 byte.

  Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.

• Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una UTF-8 stringa lunga non meno di 1 o più di 128 byte.

  Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.

  Un elenco di tag applicati al set di regole di qualità dei dati.

• TargetTable: un oggetto DataQualityTargetTable.

  Una tabella di destinazione associata al set di regole di qualità dei dati.

• RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un ID di esecuzione univoco per l'esecuzione della raccomandazione.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

• ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Utilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.

Risposta

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome univoco per il set di regole di qualità dei dati.

Errori

• InvalidInputException

• AlreadyExistsException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome per il set di regole di qualità dei dati.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole.

Risposta

Restituisce la risposta del set di regole di qualità dei dati.

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole.

• Ruleset— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.

  Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.

• TargetTable: un oggetto DataQualityTargetTable.

  Il nome e il nome del database della tabella di destinazione.

• CreatedOn: timestamp.

  Un Timestamp. La data e l'ora di creazione del set di regole di qualità dei dati.

• LastModifiedOn: timestamp.

  Un Timestamp. L'ultimo momento in cui questo set di regole di qualità dei dati è stato modificato.

• RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Quando un set di regole è stato creato da un'esecuzione di raccomandazione, questo ID di esecuzione viene generato per collegare i due.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• NextToken— stringa. UTF-8

  Un token di paginazione per partizionare i risultati.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire.

• Filter: un oggetto DataQualityRulesetFilterCriteria.

  I criteri di filtro.

• Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una UTF-8 stringa lunga non meno di 1 o più di 128 byte.

  Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.

  Un elenco di tag di coppie chiave-valore.

Risposta

• Rulesets: una matrice di oggetti DataQualityRulesetListDetails.

  Un elenco impaginato di set di regole per l'elenco di tabelle specificato. AWS Glue

• NextToken— stringa. UTF-8

  Un token di impaginazione, se sono disponibili altri risultati.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• Name— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole di qualità dei dati.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole.

• Ruleset— UTF-8 stringa, lunga non meno di 1 o più di 65536 byte.

  Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.

Risposta

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole di qualità dei dati.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole.

• Ruleset— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.

  Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.

Errori

• EntityNotFoundException

• AlreadyExistsException

• IdempotentParameterMismatchException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

• ResourceNumberLimitExceededException

Richiesta

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo.

• TimestampFilter: un oggetto TimestampFilter.

  Un filtro di timestamp.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire in questa richiesta.

• NextToken— UTF-8 stringa.

  Un token di impaginazione per richiedere la pagina successiva di risultati.

Risposta

• Statistics: una matrice di oggetti StatisticSummary.

  Un StatisticSummaryList.

• NextToken— UTF-8 corda.

  Un token di impaginazione per richiedere la pagina successiva di risultati.

Errori

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

Campi

• RecordedBefore: timestamp.

  Il timestamp prima del quale le statistiche devono essere incluse nei risultati.

• RecordedAfter: timestamp.

  Il timestamp dopo il quale le statistiche devono essere incluse nei risultati.

Campi

• Name— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome univoco per il set di regole di qualità dei dati.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole di qualità dei dati.

• Ruleset— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 65536 byte.

  Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.

• Tags: una matrice di mappe con coppie chiave-valore, non superiore alle 50 coppie.

  Ogni chiave è una UTF-8 stringa lunga non meno di 1 o più di 128 byte.

  Ogni valore è una UTF-8 stringa, lunga non più di 256 byte.

  Un elenco di tag applicati al set di regole di qualità dei dati.

• TargetTable: un oggetto DataQualityTargetTable.

  Una tabella di destinazione associata al set di regole di qualità dei dati.

• RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un ID di esecuzione univoco per l'esecuzione della raccomandazione.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

• ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Utilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.

Campi

• Name— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole.

• Description: stringa di descrizione, non superiore a 2048 byte di lunghezza, corrispondente a URI address multi-line string pattern.

  Una descrizione del set di regole.

• Ruleset— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.

  Un set di regole Data Quality Definition Language (DQDL). Per ulteriori informazioni, consulta la guida per gli AWS Glue sviluppatori.

• TargetTable: un oggetto DataQualityTargetTable.

  Il nome e il nome del database della tabella di destinazione.

• CreatedOn: timestamp.

  Un Timestamp. La data e l'ora di creazione del set di regole di qualità dei dati.

• LastModifiedOn: timestamp.

  Un Timestamp. L'ultimo momento in cui questo set di regole di qualità dei dati è stato modificato.

• RecommendationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Quando un set di regole è stato creato da un'esecuzione di raccomandazione, questo ID di esecuzione viene generato per collegare i due.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

Campi

• ResultId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un ID di risultato univoco per il risultato della qualità dei dati.

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo del risultato di qualità dei dati.

• Score: numero (doppio), non superiore a 1.

  Un punteggio aggregato della qualità dei dati. Rappresenta il rapporto tra le regole inviate e il numero totale di regole.

• DataSource: un oggetto DataSource.

  La tabella associata al risultato della qualità dei dati, se presente.

• RulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole associato al risultato della qualità dei dati.

• EvaluationContext— UTF-8 stringa.

  Nel contesto di un lavoro in AWS Glue Studio, a ciascun nodo dell'area di disegno viene in genere assegnato un nome e ai nodi di qualità dei dati viene assegnato un nome. Nel caso di più nodi, evaluationContext può differenziare i nodi.

• StartedOn: timestamp.

  La data e ora di inizio dell'esecuzione di questo risultato della qualità dei dati.

• CompletedOn: timestamp.

  La data e ora di completamento dell'esecuzione di questo risultato della qualità dei dati.

• JobName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del processo associato al risultato della qualità dei dati, se presente.

• JobRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione del processo associato al risultato della qualità dei dati, se presente.

• RulesetEvaluationRunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID di esecuzione univoco associato alla valutazione del set di regole.

• RuleResults: una matrice di oggetti DataQualityRuleResult, non superiore a 2.000 strutture.

  Un elenco di oggetti DataQualityRuleResult che rappresentano i risultati per ogni regola.

• AnalyzerResults: una matrice di oggetti DataQualityAnalyzerResult, non superiore a 2.000 strutture.

  Un elenco di oggetti DataQualityAnalyzerResult che rappresentano i risultati per ogni analizzatore.

• Observations: una matrice di oggetti DataQualityObservation, non superiore a 50 strutture.

  Un elenco di oggetti DataQualityObservation che rappresentano le osservazioni generate dopo la valutazione di regole e analizzatori.

• AggregatedMetrics: un oggetto DataQualityAggregatedMetrics.

  Un riepilogo degli DataQualityAggregatedMetrics oggetti che mostra il numero totale di righe e regole elaborate, comprese le relative pass/fail statistiche basate sui risultati a livello di riga.

Campi

• DataSource - obbligatorio: un oggetto DataSource.

  L'origine dati (AWS Glue tabella) associata a questa esecuzione.

• Role— Obbligatorio: UTF-8 stringa.

  Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.

• NumberOfWorkers: numero (intero).

  Il numero di worker G.1X da utilizzare nell'esecuzione. Il predefinito è 5.

• Timeout: numero (intero), almeno 1.

  Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Il valore di default è 2.880 minuti (48 ore).

• CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Un nome per il set di regole.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

• ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Utilizzato per l'idempotenza e consigliato per l'impostazione su un ID casuale (come un UUID) per evitare di creare o avviare più istanze della stessa risorsa.

• AdditionalRunOptions: un oggetto DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opzioni di esecuzione aggiuntive che è possibile specificare per un'esecuzione consigliata.

Campi

• RunId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'identificatore univoco dell'esecuzione associato a questa esecuzione di attività.

• DataSource: un oggetto DataSource.

  L'origine dati (una AWS Glue tabella) associata a questa esecuzione.

• Role— UTF-8 stringa.

  Un IAM ruolo fornito per crittografare i risultati dell'esecuzione.

• NumberOfWorkers: numero (intero).

  Il numero di worker G.1X da utilizzare nell'esecuzione. Il predefinito è 5.

• Timeout: numero (intero), almeno 1.

  Il timeout per una esecuzione in minuti. Questo è il tempo massimo durante il quale un'esecuzione può utilizzare le risorse prima di essere terminata e passare allo stato TIMEOUT. Il valore di default è 2.880 minuti (48 ore).

• Status— UTF-8 stringa (valori validi: RUNNING | FINISHED | FAILED | PENDING_EXECUTION | | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

  Lo stato di questa esecuzione.

• ErrorString— UTF-8 stringa.

  Le stringhe di errore associate all'esecuzione.

• StartedOn: timestamp.

  La data e l'ora in cui è stata avviata questa esecuzione.

• LastModifiedOn: timestamp.

  Un Timestamp. L'ultimo momento in cui questa raccomandazione della regola di qualità dei dati è stata modificata.

• CompletedOn: timestamp.

  La data e l'ora in cui è stata completata questa esecuzione.

• ExecutionTime: numero (intero).

  La quantità di tempo (in secondi) durante la quale l'esecuzione ha utilizzato le risorse.

• RecommendedRuleset— UTF-8 stringa di lunghezza non inferiore a 1 o superiore a 65536 byte.

  Una volta completata l'esecuzione di una raccomandazione della regola di avvio, viene creato un set di regole consigliato (una serie di regole). Questo membro ha queste regole nel formato DQDL (Data Quality Definition Language).

• CreatedRulesetName— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome del set di regole che è stato creato dall'esecuzione.

• DataQualitySecurityConfiguration— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il nome della configurazione di sicurezza creata con l'opzione di crittografia di qualità dei dati.

• AdditionalRunOptions: un oggetto DataQualityRuleRecommendationRunAdditionalRunOptions.

  Opzioni di esecuzione aggiuntive che è possibile specificare per un'esecuzione consigliata.

Richiesta

• InclusionAnnotations - obbligatorio: una matrice di oggetti DatapointInclusionAnnotation.

  Un elenco di DatapointInclusionAnnotation. InclusionAnnotationsDeve contenere un profileID e un statisticID. Se ce ne sono più InclusionAnnotations, l'elenco deve fare riferimento a un singolo StatisticID su più ProfileID.

• ClientToken— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Token client.

Risposta

• FailedInclusionAnnotations: una matrice di oggetti AnnotationError.

  Un elenco di AnnotationError.

Errori

• EntityNotFoundException

• InvalidInputException

• InternalServiceException

• ResourceNumberLimitExceededException

Richiesta

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• ProfileId— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo.

Risposta

• Status— UTF-8 stringa (valori validi: RUNNING | SUCCEEDED |FAILED).

  Lo stato di addestramento del modello di qualità dei dati.

• StartedOn: timestamp.

  Il timestamp del momento di inizio dell'addestramento del modello.

• CompletedOn: timestamp.

  Il timestamp del momento di completamento dell'addestramento del modello.

• FailureReason— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  Il motivo per cui l'addestramento non è riuscito.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• StatisticId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• ProfileId— UTF-8 Obbligatoria: stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo.

Risposta

• CompletedOn: timestamp.

  Il timestamp del momento di completamento dell'addestramento del modello.

• Model: una matrice di oggetti StatisticModelResult.

  Un elenco di StatisticModelResult.

Errori

• EntityNotFoundException

• InvalidInputException

• OperationTimeoutException

• InternalServiceException

Richiesta

• StatisticId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID statistica.

• ProfileId— UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID profilo.

• TimestampFilter: un oggetto TimestampFilter.

  Un filtro di timestamp.

• MaxResults: numero (intero), non inferiore a 1 o superiore a 1.000.

  Numero massimo di risultati da restituire in questa richiesta.

• NextToken— UTF-8 stringa.

  Un token di impaginazione per recuperare il set di risultati successivo.

Risposta

• Annotations: una matrice di oggetti StatisticAnnotation.

  Un elenco di StatisticAnnotation applicato alla statistica.

• NextToken— UTF-8 corda.

  Un token di impaginazione per recuperare il set di risultati successivo.

Errori

• InvalidInputException

• InternalServiceException

Richiesta

• ProfileId— Obbligatoria: UTF-8 stringa, lunga non meno di 1 o più di 255 byte, corrispondente a. Single-line string pattern

  L'ID del profilo di monitoraggio della qualità dei dati da annotare.

• InclusionAnnotation— Obbligatorio: UTF-8 stringa (valori validi: INCLUDE |EXCLUDE).

  Il valore dell'annotazione di inclusione da applicare al profilo.

Risposta

• Nessun parametro di risposta.

Errori

• EntityNotFoundException

• InvalidInputException

• InternalServiceException