Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Kualitas Data API
Kualitas Data API menjelaskan tipe data kualitas data, dan mencakup API untuk membuat, menghapus, atau memperbarui kumpulan aturan, proses, dan evaluasi kualitas data.
Jenis data
DataSource struktur
Sumber data ( AWS Glue tabel) yang Anda inginkan hasil kualitas datanya.
Bidang
-
GlueTable
— Wajib: Sebuah objek GlueTable.Sebuah AWS Glue meja.
DataQualityRulesetListDetails struktur
Menjelaskan kumpulan aturan kualitas data yang dikembalikan oleh. GetDataQualityRuleset
Bidang
-
Name
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternNama aturan kualitas data.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi aturan kualitas data.
-
CreatedOn
— Stempel waktu.Tanggal dan waktu kumpulan aturan kualitas data dibuat.
-
LastModifiedOn
— Stempel waktu.Tanggal dan waktu aturan kualitas data terakhir diubah.
-
TargetTable
— Sebuah objek DataQualityTargetTable.Objek yang mewakili AWS Glue tabel.
-
RecommendationRunId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternKetika kumpulan aturan dibuat dari rekomendasi yang dijalankan, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.
-
RuleCount
— Nomor (bilangan bulat).Jumlah aturan dalam aturan.
DataQualityTargetTable struktur
Objek yang mewakili AWS Glue tabel.
Bidang
-
TableName
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama AWS Glue meja.
-
DatabaseName
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama database tempat AWS Glue tabel ada.
-
CatalogId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternId katalog tempat AWS Glue tabel ada.
DataQualityRulesetEvaluationRunDescription struktur
Menjelaskan hasil evaluasi set aturan kualitas data.
Bidang
-
RunId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
-
Status
— UTF -8 string (nilai valid:RUNNING
FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
CANCELED
|RECEIVED_BY_TASKRUNNER
).Status untuk eksekusi ini.
-
StartedOn
— Stempel waktu.Tanggal dan waktu saat lari dimulai.
-
DataSource
— Sebuah objek DataSource.Sumber data ( AWS Glue tabel) yang terkait dengan proses.
DataQualityRulesetEvaluationRunFilter struktur
Kriteria filter.
Bidang
-
DataSource
— Wajib: Sebuah objek DataSource.Filter berdasarkan sumber data ( AWS Glue tabel) yang terkait dengan proses.
-
StartedBefore
— Stempel waktu.Filter hasil berdasarkan proses yang dimulai sebelum waktu ini.
-
StartedAfter
— Stempel waktu.Filter hasil berdasarkan proses yang dimulai setelah waktu ini.
DataQualityEvaluationRunAdditionalRunOptions struktur
Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.
Bidang
-
CloudWatchMetricsEnabled
– Boolean.Apakah akan mengaktifkan CloudWatch metrik atau tidak.
-
ResultsS3Prefix
— UTF -8 string.Awalan untuk Amazon S3 untuk menyimpan hasil.
-
CompositeRuleEvaluationMethod
— UTF -8 string (nilai valid:COLUMN
|ROW
).Tetapkan metode evaluasi untuk aturan komposit dalam kumpulan aturan ke/ROWCOLUMN
DataQualityRuleRecommendationRunDescription struktur
Menjelaskan hasil dari rekomendasi aturan kualitas data yang dijalankan.
Bidang
-
RunId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
-
Status
— UTF -8 string (nilai valid:RUNNING
FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
CANCELED
|RECEIVED_BY_TASKRUNNER
).Status untuk eksekusi ini.
-
StartedOn
— Stempel waktu.Tanggal dan waktu kapan proses ini dimulai.
-
DataSource
— Sebuah objek DataSource.Sumber data (AWS Glue tabel) yang terkait dengan rekomendasi dijalankan.
DataQualityRuleRecommendationRunFilter struktur
Filter untuk mencantumkan rekomendasi kualitas data berjalan.
Bidang
-
DataSource
— Wajib: Sebuah objek DataSource.Filter berdasarkan sumber data tertentu (AWS Glue tabel).
-
StartedBefore
— Stempel waktu.Filter berdasarkan waktu untuk hasil dimulai sebelum waktu yang ditentukan.
-
StartedAfter
— Stempel waktu.Filter berdasarkan waktu untuk hasil dimulai setelah waktu yang ditentukan.
DataQualityResult struktur
Menjelaskan hasil kualitas data.
Bidang
-
ResultId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternID hasil unik untuk hasil kualitas data.
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil untuk hasil kualitas data.
-
Score
— Nomor (ganda), tidak lebih dari 1.0.Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.
-
DataSource
— Sebuah objek DataSource.Tabel yang terkait dengan hasil kualitas data, jika ada.
-
RulesetName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama ruleset terkait dengan hasil kualitas data.
-
EvaluationContext
— UTF -8 string.Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node,
evaluationContext
dapat membedakan node. -
StartedOn
— Stempel waktu.Tanggal dan waktu ketika kualitas data ini berjalan dimulai.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu ketika kualitas data ini berjalan selesai.
-
JobName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama pekerjaan yang terkait dengan hasil kualitas data, jika ada.
-
JobRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID job run terkait dengan hasil kualitas data, jika ada.
-
RulesetEvaluationRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID run unik untuk evaluasi set aturan untuk hasil kualitas data ini.
-
RuleResults
— Sebuah array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.Daftar
DataQualityRuleResult
objek yang mewakili hasil untuk setiap aturan. -
AnalyzerResults
— Sebuah array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.Daftar
DataQualityAnalyzerResult
objek yang mewakili hasil untuk setiap analyzer. -
Observations
— Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.Daftar
DataQualityObservation
objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.
DataQualityAnalyzerResult struktur
Menjelaskan hasil evaluasi penganalisis kualitas data.
Bidang
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama penganalisis kualitas data.
-
Description
- UTF -8 string, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string patternDeskripsi penganalisis kualitas data.
-
EvaluationMessage
- UTF -8 string, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string patternPesan evaluasi.
-
EvaluatedMetrics
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern
Setiap nilai adalah Angka (ganda).
Peta metrik yang terkait dengan evaluasi penganalisis.
DataQualityObservation struktur
Menjelaskan pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.
Bidang
-
Description
- UTF -8 string, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string patternDeskripsi pengamatan kualitas data.
-
MetricBasedObservation
— Sebuah objek MetricBasedObservation.Objek tipe yang
MetricBasedObservation
mewakili pengamatan yang didasarkan pada metrik kualitas data yang dievaluasi.
MetricBasedObservation struktur
Menjelaskan pengamatan berbasis metrik yang dihasilkan berdasarkan metrik kualitas data yang dievaluasi.
Bidang
-
MetricName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama metrik kualitas data yang digunakan untuk menghasilkan pengamatan.
-
StatisticId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Statistik.
-
MetricValues
— Sebuah objek DataQualityMetricValues.Objek tipe
DataQualityMetricValues
yang mewakili analisis nilai metrik kualitas data. -
NewRules
— Sebuah array dari UTF -8 string.Daftar aturan kualitas data baru yang dihasilkan sebagai bagian dari pengamatan berdasarkan nilai metrik kualitas data.
DataQualityMetricValues struktur
Menjelaskan nilai metrik kualitas data menurut analisis data historis.
Bidang
-
ActualValue
— Nomor (ganda).Nilai aktual dari metrik kualitas data.
-
ExpectedValue
— Nomor (ganda).Nilai yang diharapkan dari metrik kualitas data menurut analisis data historis.
-
LowerLimit
— Nomor (ganda).Batas bawah nilai metrik kualitas data menurut analisis data historis.
-
UpperLimit
— Nomor (ganda).Batas atas nilai metrik kualitas data menurut analisis data historis.
DataQualityRuleResult struktur
Menjelaskan hasil evaluasi aturan kualitas data.
Bidang
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama aturan kualitas data.
-
Description
- UTF -8 string, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string patternDeskripsi aturan kualitas data.
-
EvaluationMessage
- UTF -8 string, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string patternPesan evaluasi.
-
Result
— UTF -8 string (nilai valid:PASS
|FAIL
|ERROR
).Status lulus atau gagal untuk aturan.
-
EvaluatedMetrics
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern
Setiap nilai adalah Angka (ganda).
Peta metrik yang terkait dengan evaluasi aturan.
-
EvaluatedRule
- UTF -8 string, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string patternAturan yang dievaluasi.
DataQualityResultDescription struktur
Menjelaskan hasil kualitas data.
Bidang
-
ResultId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID hasil unik untuk hasil kualitas data ini.
-
DataSource
— Sebuah objek DataSource.Nama tabel yang terkait dengan hasil kualitas data.
-
JobName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama pekerjaan yang terkait dengan hasil kualitas data.
-
JobRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID job run terkait dengan hasil kualitas data.
-
StartedOn
— Stempel waktu.Waktu proses dimulai untuk hasil kualitas data ini.
DataQualityResultFilterCriteria struktur
Kriteria yang digunakan untuk mengembalikan hasil kualitas data.
Bidang
-
DataSource
— Sebuah objek DataSource.Filter hasil berdasarkan sumber data yang ditentukan. Misalnya, mengambil semua hasil untuk sebuah AWS Glue tabel.
-
JobName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternFilter hasil dengan nama pekerjaan yang ditentukan.
-
JobRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternFilter hasil berdasarkan ID job run yang ditentukan.
-
StartedAfter
— Stempel waktu.Filter hasil berdasarkan proses yang dimulai setelah waktu ini.
-
StartedBefore
— Stempel waktu.Filter hasil berdasarkan proses yang dimulai sebelum waktu ini.
DataQualityRulesetFilterCriteria struktur
Kriteria yang digunakan untuk menyaring kumpulan aturan kualitas data.
Bidang
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama kriteria filter ruleset.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi kriteria filter ruleset.
-
CreatedBefore
— Stempel waktu.Filter pada set aturan yang dibuat sebelum tanggal ini.
-
CreatedAfter
— Stempel waktu.Filter pada set aturan yang dibuat setelah tanggal ini.
-
LastModifiedBefore
— Stempel waktu.Filter pada aturan set terakhir diubah sebelum tanggal ini.
-
LastModifiedAfter
— Stempel waktu.Filter pada aturan set terakhir diubah setelah tanggal ini.
-
TargetTable
— Sebuah objek DataQualityTargetTable.Nama dan nama database dari tabel target.
StatisticAnnotation struktur
Anotasi Statistik.
Bidang
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil.
-
StatisticId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Statistik.
-
StatisticRecordedOn
— Stempel waktu.Stempel waktu ketika statistik beranotasi dicatat.
-
InclusionAnnotation
— Sebuah objek TimestampedInclusionAnnotation.Anotasi inklusi diterapkan pada statistik.
TimestampedInclusionAnnotation struktur
Anotasi inklusi stempel waktu.
Bidang
-
Value
— UTF -8 string (nilai valid:INCLUDE
|EXCLUDE
).Nilai anotasi inklusi.
-
LastModifiedOn
— Stempel waktu.Stempel waktu saat anotasi inklusi terakhir diubah.
AnnotationError struktur
Anotasi yang gagal.
Bidang
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil untuk anotasi yang gagal.
-
StatisticId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Statistik untuk anotasi yang gagal.
-
FailureReason
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Alasan mengapa anotasi gagal.
DatapointInclusionAnnotation struktur
Anotasi Inklusi.
Bidang
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID profil kualitas data yang dimiliki statistik.
-
StatisticId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Statistik.
-
InclusionAnnotation
— UTF -8 string (nilai valid:INCLUDE
|EXCLUDE
).Nilai anotasi inklusi untuk diterapkan pada statistik.
StatisticSummaryList daftar
Daftar dari StatisticSummary
.
Susunan objek StatisticSummary.
Daftar dari StatisticSummary
.
StatisticSummary struktur
Ringkasan informasi tentang statistik.
Bidang
-
StatisticId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Statistik.
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil.
-
RunIdentifier
— Sebuah objek RunIdentifier.Pengidentifikasi Jalankan
-
StatisticName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Custom string pattern #16Nama statistik.
-
DoubleValue
— Nomor (ganda).Nilai statistik.
-
EvaluationLevel
— UTF -8 string (nilai valid:Dataset="DATASET"
|Column="COLUMN"
|Multicolumn="MULTICOLUMN"
).Tingkat evaluasi statistik. Nilai yang mungkin:
Dataset
,Column
,Multicolumn
. -
ColumnsReferenced
— Sebuah array dari UTF -8 string.Daftar kolom yang direferensikan oleh statistik.
-
ReferencedDatasets
— Sebuah array dari UTF -8 string.Daftar kumpulan data yang direferensikan oleh statistik.
-
StatisticProperties
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern
Setiap nilai adalah string Deskripsi, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string pattern
A
StatisticPropertiesMap
, yang berisi aNameString
danDescriptionString
-
RecordedOn
— Stempel waktu.Stempel waktu ketika statistik dicatat.
-
InclusionAnnotation
— Sebuah objek TimestampedInclusionAnnotation.Anotasi inklusi untuk statistik.
RunIdentifier struktur
Pengidentifikasi run.
Bidang
-
RunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Jalankan.
-
JobRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Job Run.
StatisticModelResult struktur
Hasil model statistik.
Bidang
-
LowerBound
— Nomor (ganda).Batas bawah.
-
UpperBound
— Nomor (ganda).Batas atas.
-
PredictedValue
— Nomor (ganda).Nilai yang diprediksi.
-
ActualValue
— Nomor (ganda).Nilai sebenarnya.
-
Date
— Stempel waktu.Tanggal.
-
InclusionAnnotation
— UTF -8 string (nilai valid:INCLUDE
|EXCLUDE
).Anotasi inklusi.
Operasi
StartDataQualityRulesetEvaluationRun tindakan (Python: start_data_quality_ruleset_evaluation_run)
CancelDataQualityRulesetEvaluationRun tindakan (Python: cancel_data_quality_ruleset_evaluation_run)
GetDataQualityRulesetEvaluationRun tindakan (Python: get_data_quality_ruleset_evaluation_run)
ListDataQualityRulesetEvaluationRuns tindakan (Python: list_data_quality_ruleset_evaluation_runs)
StartDataQualityRuleRecommendationRun tindakan (Python: start_data_quality_rule_recommendation_run)
GetDataQualityRuleRecommendationRun tindakan (Python: get_data_quality_rule_recommendation_run)
ListDataQualityRuleRecommendationRuns tindakan (Python: list_data_quality_rule_recommendation_runs)
GetDataQualityResult tindakan (Python: get_data_quality_result)
BatchGetDataQualityResult tindakan (Python: batch_get_data_quality_result)
ListDataQualityResults tindakan (Python: list_data_quality_results)
CreateDataQualityRuleset tindakan (Python: create_data_quality_ruleset)
DeleteDataQualityRuleset tindakan (Python: delete_data_quality_ruleset)
GetDataQualityRuleset tindakan (Python: get_data_quality_ruleset)
ListDataQualityRulesets tindakan (Python: list_data_quality_rulesets)
UpdateDataQualityRuleset tindakan (Python: update_data_quality_ruleset)
ListDataQualityStatistics tindakan (Python: list_data_quality_statistics)
GetDataQualityModel tindakan (Python: get_data_quality_model)
GetDataQualityModelResult tindakan (Python: get_data_quality_model_result)
ListDataQualityStatisticAnnotations tindakan (Python: list_data_quality_statistic_annotations)
PutDataQualityProfileAnnotation tindakan (Python: put_data_quality_profile_annotation)
StartDataQualityRulesetEvaluationRun tindakan (Python: start_data_quality_ruleset_evaluation_run)
Setelah Anda memiliki definisi kumpulan aturan (baik yang direkomendasikan atau milik Anda sendiri), Anda memanggil operasi ini untuk mengevaluasi kumpulan aturan terhadap sumber data (tabel).AWS Glue Evaluasi menghitung hasil yang dapat Anda ambil dengan. GetDataQualityResult
API
Permintaan
-
DataSource
— Wajib: Sebuah objek DataSource.Sumber data (AWS Glue tabel) yang terkait dengan proses ini.
-
Role
- Diperlukan: UTF -8 string.IAM Peran yang diberikan untuk mengenkripsi hasil proses.
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah
G.1X
pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5. -
Timeout
— Nomor (bilangan bulat), minimal 1.Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki
TIMEOUT
status. Default-nya adalah 2.880 menit (48 jam). -
ClientToken
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternDigunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti aUUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.
-
AdditionalRunOptions
— Sebuah objek DataQualityEvaluationRunAdditionalRunOptions.Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.
-
RulesetNames
— Wajib: Sebuah array UTF -8 string, tidak kurang dari 1 atau lebih dari 10 string.Daftar nama ruleset.
-
AdditionalDataSources
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern
Setiap nilai adalah sebuah objek DataSource A.
Peta string referensi ke sumber data tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.
Respons
-
RunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
Kesalahan
InvalidInputException
EntityNotFoundException
OperationTimeoutException
InternalServiceException
ConflictException
CancelDataQualityRulesetEvaluationRun tindakan (Python: cancel_data_quality_ruleset_evaluation_run)
Membatalkan proses di mana kumpulan aturan sedang dievaluasi terhadap sumber data.
Permintaan
-
RunId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
Respons
Tidak ada parameter Respons.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityRulesetEvaluationRun tindakan (Python: get_data_quality_ruleset_evaluation_run)
Mengambil run tertentu di mana kumpulan aturan dievaluasi terhadap sumber data.
Permintaan
-
RunId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
Respons
-
RunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
-
DataSource
— Sebuah objek DataSource.Sumber data ( AWS Glue tabel) yang terkait dengan evaluasi ini dijalankan.
-
Role
— UTF -8 string.IAM Peran yang diberikan untuk mengenkripsi hasil proses.
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah
G.1X
pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5. -
Timeout
— Nomor (bilangan bulat), minimal 1.Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki
TIMEOUT
status. Default-nya adalah 2.880 menit (48 jam). -
AdditionalRunOptions
— Sebuah objek DataQualityEvaluationRunAdditionalRunOptions.Opsi run tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.
-
Status
— UTF -8 string (nilai valid:RUNNING
FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
CANCELED
|RECEIVED_BY_TASKRUNNER
).Status untuk eksekusi ini.
-
ErrorString
— UTF -8 string.String kesalahan yang terkait dengan proses.
-
StartedOn
— Stempel waktu.Tanggal dan waktu kapan proses ini dimulai.
-
LastModifiedOn
— Stempel waktu.Sebuah stempel waktu. Poin terakhir saat rekomendasi aturan kualitas data ini dijalankan telah dimodifikasi.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu saat proses ini selesai.
-
ExecutionTime
— Nomor (bilangan bulat).Jumlah waktu (dalam detik) bahwa run mengkonsumsi sumber daya.
-
RulesetNames
— Array UTF -8 string, tidak kurang dari 1 atau lebih dari 10 string.Daftar nama ruleset untuk lari. Saat ini, parameter ini hanya mengambil satu nama Ruleset.
-
ResultIds
— Array UTF -8 string, tidak kurang dari 1 atau lebih dari 10 string.Daftar hasil IDs untuk hasil kualitas data untuk dijalankan.
-
AdditionalDataSources
– Susunan peta pasangan nilai kunci.Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern
Setiap nilai adalah sebuah objek DataSource A.
Peta string referensi ke sumber data tambahan yang dapat Anda tentukan untuk menjalankan evaluasi.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityRulesetEvaluationRuns tindakan (Python: list_data_quality_ruleset_evaluation_runs)
Daftar semua proses yang memenuhi kriteria filter, di mana kumpulan aturan dievaluasi terhadap sumber data.
Permintaan
-
Filter
— Sebuah objek DataQualityRulesetEvaluationRunFilter.Kriteria filter.
-
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman untuk mengimbangi hasil.
-
MaxResults
— Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.Jumlah hasil maksimum yang akan dikembalikan.
Respons
-
Runs
– Susunan objek DataQualityRulesetEvaluationRunDescription.Sebuah daftar
DataQualityRulesetEvaluationRunDescription
objek yang mewakili kualitas data ruleset berjalan. -
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.
Kesalahan
InvalidInputException
OperationTimeoutException
InternalServiceException
StartDataQualityRuleRecommendationRun tindakan (Python: start_data_quality_rule_recommendation_run)
Memulai proses rekomendasi yang digunakan untuk menghasilkan aturan ketika Anda tidak tahu aturan apa yang harus ditulis. AWS Glue Kualitas Data menganalisis data dan menghasilkan rekomendasi untuk kumpulan aturan potensial. Anda kemudian dapat melakukan triase set aturan dan memodifikasi kumpulan aturan yang dihasilkan sesuai keinginan Anda.
Rekomendasi berjalan secara otomatis dihapus setelah 90 hari.
Permintaan
Permintaan permintaan rekomendasi aturan Kualitas Data.
-
DataSource
— Wajib: Sebuah objek DataSource.Sumber data (AWS Glue tabel) yang terkait dengan proses ini.
-
Role
- Diperlukan: UTF -8 string.IAM Peran yang diberikan untuk mengenkripsi hasil proses.
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah
G.1X
pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5. -
Timeout
— Nomor (bilangan bulat), minimal 1.Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki
TIMEOUT
status. Default-nya adalah 2.880 menit (48 jam). -
CreatedRulesetName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternSebuah nama untuk ruleset.
-
DataQualitySecurityConfiguration
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
-
ClientToken
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternDigunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti aUUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.
Respons
-
RunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
Kesalahan
InvalidInputException
OperationTimeoutException
InternalServiceException
ConflictException
CancelDataQualityRuleRecommendationRun tindakan (Python: cancel_data_quality_rule_recommendation_run)
Membatalkan proses rekomendasi yang ditentukan yang digunakan untuk menghasilkan aturan.
Permintaan
-
RunId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
Respons
Tidak ada parameter Respons.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityRuleRecommendationRun tindakan (Python: get_data_quality_rule_recommendation_run)
Mendapatkan rekomendasi tertentu yang dijalankan yang digunakan untuk menghasilkan aturan.
Permintaan
-
RunId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
Respons
Respons untuk rekomendasi aturan Kualitas Data dijalankan.
-
RunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
-
DataSource
— Sebuah objek DataSource.Sumber data ( AWS Glue tabel) yang terkait dengan proses ini.
-
Role
— UTF -8 string.IAM Peran yang diberikan untuk mengenkripsi hasil proses.
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah
G.1X
pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5. -
Timeout
— Nomor (bilangan bulat), minimal 1.Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki
TIMEOUT
status. Default-nya adalah 2.880 menit (48 jam). -
Status
— UTF -8 string (nilai valid:RUNNING
FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
CANCELED
|RECEIVED_BY_TASKRUNNER
).Status untuk eksekusi ini.
-
ErrorString
— UTF -8 string.String kesalahan yang terkait dengan proses.
-
StartedOn
— Stempel waktu.Tanggal dan waktu kapan proses ini dimulai.
-
LastModifiedOn
— Stempel waktu.Sebuah stempel waktu. Poin terakhir saat rekomendasi aturan kualitas data ini dijalankan telah dimodifikasi.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu saat proses ini selesai.
-
ExecutionTime
— Nomor (bilangan bulat).Jumlah waktu (dalam detik) bahwa run mengkonsumsi sumber daya.
-
RecommendedRuleset
UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Ketika proses rekomendasi aturan mulai selesai, itu membuat kumpulan aturan yang direkomendasikan (seperangkat aturan). Anggota ini memiliki aturan tersebut dalam format Data Quality Definition Language (DQDL).
-
CreatedRulesetName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama ruleset yang dibuat oleh run.
-
DataQualitySecurityConfiguration
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityRuleRecommendationRuns tindakan (Python: list_data_quality_rule_recommendation_runs)
Daftar rekomendasi berjalan memenuhi kriteria filter.
Permintaan
-
Filter
— Sebuah objek DataQualityRuleRecommendationRunFilter.Kriteria filter.
-
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman untuk mengimbangi hasil.
-
MaxResults
— Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.Jumlah hasil maksimum yang akan dikembalikan.
Respons
-
Runs
– Susunan objek DataQualityRuleRecommendationRunDescription.Daftar objek
DataQualityRuleRecommendationRunDescription
. -
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.
Kesalahan
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityResult tindakan (Python: get_data_quality_result)
Mengambil hasil evaluasi aturan kualitas data.
Permintaan
-
ResultId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternID hasil unik untuk hasil kualitas data.
Respons
Respons untuk hasil kualitas data.
-
ResultId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID hasil unik untuk hasil kualitas data.
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil untuk hasil kualitas data.
-
Score
— Nomor (ganda), tidak lebih dari 1.0.Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.
-
DataSource
— Sebuah objek DataSource.Tabel yang terkait dengan hasil kualitas data, jika ada.
-
RulesetName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama ruleset terkait dengan hasil kualitas data.
-
EvaluationContext
— UTF -8 string.Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node,
evaluationContext
dapat membedakan node. -
StartedOn
— Stempel waktu.Tanggal dan waktu ketika proses untuk hasil kualitas data ini dimulai.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu ketika proses untuk hasil kualitas data ini selesai.
-
JobName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama pekerjaan yang terkait dengan hasil kualitas data, jika ada.
-
JobRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID job run terkait dengan hasil kualitas data, jika ada.
-
RulesetEvaluationRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID run unik yang terkait dengan evaluasi ruleset.
-
RuleResults
— Sebuah array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.Daftar
DataQualityRuleResult
objek yang mewakili hasil untuk setiap aturan. -
AnalyzerResults
— Sebuah array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.Daftar
DataQualityAnalyzerResult
objek yang mewakili hasil untuk setiap analyzer. -
Observations
— Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.Daftar
DataQualityObservation
objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.
Kesalahan
InvalidInputException
OperationTimeoutException
InternalServiceException
EntityNotFoundException
BatchGetDataQualityResult tindakan (Python: batch_get_data_quality_result)
Mengambil daftar hasil kualitas data untuk hasil yang ditentukan. IDs
Permintaan
-
ResultIds
— Wajib: Sebuah array UTF -8 string, tidak kurang dari 1 atau lebih dari 100 string.Daftar hasil unik IDs untuk hasil kualitas data.
Respons
-
Results
– Wajib: Susunan objek DataQualityResult.Daftar
DataQualityResult
objek yang mewakili hasil kualitas data. -
ResultsNotFound
— Array UTF -8 string, tidak kurang dari 1 atau lebih dari 100 string.Daftar hasil IDs yang hasilnya tidak ditemukan.
Kesalahan
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityResults tindakan (Python: list_data_quality_results)
Mengembalikan semua hasil eksekusi kualitas data untuk akun Anda.
Permintaan
-
Filter
— Sebuah objek DataQualityResultFilterCriteria.Kriteria filter.
-
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman untuk mengimbangi hasil.
-
MaxResults
— Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.Jumlah hasil maksimum yang akan dikembalikan.
Respons
-
Results
– Wajib: Susunan objek DataQualityResultDescription.Daftar objek
DataQualityResultDescription
. -
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.
Kesalahan
InvalidInputException
OperationTimeoutException
InternalServiceException
CreateDataQualityRuleset tindakan (Python: create_data_quality_ruleset)
Membuat kumpulan aturan kualitas data dengan DQDL aturan yang diterapkan pada tabel tertentu AWS Glue .
Anda membuat kumpulan aturan menggunakan Data Quality Definition Language ()DQDL. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
Permintaan
Permintaan untuk membuat kumpulan aturan kualitas data.
-
Name
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama unik untuk kumpulan aturan kualitas data.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi aturan kualitas data.
-
Ruleset
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Sebuah Data Quality Definition Language (DQDL) aturan. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
-
Tags
— Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.
Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.
Daftar tag yang diterapkan pada kumpulan aturan kualitas data.
-
TargetTable
— Sebuah objek DataQualityTargetTable.Tabel target yang terkait dengan kumpulan aturan kualitas data.
-
RecommendationRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID run unik untuk menjalankan rekomendasi.
-
DataQualitySecurityConfiguration
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
-
ClientToken
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternDigunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti aUUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.
Respons
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama unik untuk kumpulan aturan kualitas data.
Kesalahan
InvalidInputException
AlreadyExistsException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
DeleteDataQualityRuleset tindakan (Python: delete_data_quality_ruleset)
Menghapus aturan kualitas data.
Permintaan
-
Name
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama untuk kumpulan aturan kualitas data.
Respons
Tidak ada parameter Respons.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityRuleset tindakan (Python: get_data_quality_ruleset)
Mengembalikan aturan yang ada dengan identifier atau nama.
Permintaan
-
Name
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama ruleset.
Respons
Mengembalikan respon ruleset kualitas data.
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama ruleset.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi dari ruleset.
-
Ruleset
UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Sebuah Data Quality Definition Language (DQDL) aturan. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
-
TargetTable
— Sebuah objek DataQualityTargetTable.Nama dan nama database dari tabel target.
-
CreatedOn
— Stempel waktu.Sebuah stempel waktu. Waktu dan tanggal pembuatan aturan kualitas data ini.
-
LastModifiedOn
— Stempel waktu.Sebuah stempel waktu. Poin terakhir dalam waktu ketika aturan kualitas data ini dimodifikasi.
-
RecommendationRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternKetika kumpulan aturan dibuat dari rekomendasi yang dijalankan, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.
-
DataQualitySecurityConfiguration
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityRulesets tindakan (Python: list_data_quality_rulesets)
Mengembalikan daftar paginasi rulesets untuk daftar tabel tertentu. AWS Glue
Permintaan
-
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman untuk mengimbangi hasil.
-
MaxResults
— Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.Jumlah hasil maksimum yang akan dikembalikan.
-
Filter
— Sebuah objek DataQualityRulesetFilterCriteria.Kriteria filter.
-
Tags
— Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.
Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.
Daftar tag pasangan kunci-nilai.
Respons
-
Rulesets
– Susunan objek DataQualityRulesetListDetails.Daftar aturan paginasi untuk daftar tabel yang ditentukan. AWS Glue
-
NextToken
— UTF -8 string.Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
UpdateDataQualityRuleset tindakan (Python: update_data_quality_ruleset)
Memperbarui set aturan kualitas data yang ditentukan.
Permintaan
-
Name
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama aturan kualitas data.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi dari ruleset.
-
Ruleset
UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Sebuah Data Quality Definition Language (DQDL) aturan. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
Respons
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama aturan kualitas data.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi dari ruleset.
-
Ruleset
UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Sebuah Data Quality Definition Language (DQDL) aturan. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
Kesalahan
EntityNotFoundException
AlreadyExistsException
IdempotentParameterMismatchException
InvalidInputException
OperationTimeoutException
InternalServiceException
ResourceNumberLimitExceededException
ListDataQualityStatistics tindakan (Python: list_data_quality_statistics)
Mengambil daftar statistik kualitas data.
Permintaan
-
StatisticId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Statistik.
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil.
-
TimestampFilter
— Sebuah objek TimestampFilter.Filter stempel waktu.
-
MaxResults
— Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.Jumlah maksimum hasil untuk dikembalikan dalam permintaan ini.
-
NextToken
— UTF -8 string.Token pagination untuk meminta halaman hasil berikutnya.
Respons
-
Statistics
– Susunan objek StatisticSummary.A
StatisticSummaryList
. -
NextToken
— UTF -8 string.Token pagination untuk meminta halaman hasil berikutnya.
Kesalahan
EntityNotFoundException
InvalidInputException
InternalServiceException
TimestampFilter struktur
Filter stempel waktu.
Bidang
-
RecordedBefore
— Stempel waktu.Stempel waktu sebelum statistik harus dimasukkan dalam hasil.
-
RecordedAfter
— Stempel waktu.Stempel waktu setelah statistik harus dimasukkan dalam hasil.
CreateDataQualityRulesetRequest struktur
Permintaan untuk membuat kumpulan aturan kualitas data.
Bidang
-
Name
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternNama unik untuk kumpulan aturan kualitas data.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi aturan kualitas data.
-
Ruleset
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Sebuah Data Quality Definition Language (DQDL) aturan. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
-
Tags
— Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.
Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.
Daftar tag yang diterapkan pada kumpulan aturan kualitas data.
-
TargetTable
— Sebuah objek DataQualityTargetTable.Tabel target yang terkait dengan kumpulan aturan kualitas data.
-
RecommendationRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID run unik untuk menjalankan rekomendasi.
-
DataQualitySecurityConfiguration
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
-
ClientToken
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternDigunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti aUUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.
GetDataQualityRulesetResponse struktur
Mengembalikan respon ruleset kualitas data.
Bidang
-
Name
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama ruleset.
-
Description
— String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.Deskripsi dari ruleset.
-
Ruleset
UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Sebuah Data Quality Definition Language (DQDL) aturan. Untuk informasi selengkapnya, lihat panduan AWS Glue pengembang.
-
TargetTable
— Sebuah objek DataQualityTargetTable.Nama dan nama database dari tabel target.
-
CreatedOn
— Stempel waktu.Sebuah stempel waktu. Waktu dan tanggal pembuatan aturan kualitas data ini.
-
LastModifiedOn
— Stempel waktu.Sebuah stempel waktu. Poin terakhir dalam waktu ketika aturan kualitas data ini dimodifikasi.
-
RecommendationRunId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternKetika kumpulan aturan dibuat dari rekomendasi yang dijalankan, ID run ini dihasilkan untuk menghubungkan keduanya bersama-sama.
-
DataQualitySecurityConfiguration
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
GetDataQualityResultResponse struktur
Respons untuk hasil kualitas data.
Bidang
-
ResultId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID hasil unik untuk hasil kualitas data.
-
ProfileId
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternID Profil untuk hasil kualitas data.
-
Score
— Nomor (ganda), tidak lebih dari 1.0.Skor kualitas data agregat. Merupakan rasio aturan yang diteruskan ke jumlah total aturan.
-
DataSource
— Sebuah objek DataSource.Tabel yang terkait dengan hasil kualitas data, jika ada.
-
RulesetName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama ruleset terkait dengan hasil kualitas data.
-
EvaluationContext
— UTF -8 string.Dalam konteks pekerjaan di AWS Glue Studio, setiap node di kanvas biasanya diberi semacam nama dan node kualitas data akan memiliki nama. Dalam kasus beberapa node,
evaluationContext
dapat membedakan node. -
StartedOn
— Stempel waktu.Tanggal dan waktu ketika proses untuk hasil kualitas data ini dimulai.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu ketika proses untuk hasil kualitas data ini selesai.
-
JobName
- UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan. Single-line string patternNama pekerjaan yang terkait dengan hasil kualitas data, jika ada.
-
JobRunId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternID job run terkait dengan hasil kualitas data, jika ada.
-
RulesetEvaluationRunId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternID run unik yang terkait dengan evaluasi ruleset.
-
RuleResults
— Sebuah array DataQualityRuleResult objek, tidak lebih dari 2000 struktur.Daftar
DataQualityRuleResult
objek yang mewakili hasil untuk setiap aturan. -
AnalyzerResults
— Sebuah array DataQualityAnalyzerResult objek, tidak lebih dari 2000 struktur.Daftar
DataQualityAnalyzerResult
objek yang mewakili hasil untuk setiap analyzer. -
Observations
— Susunan objek DataQualityObservation, tidak lebih dari 50 struktur.Daftar
DataQualityObservation
objek yang mewakili pengamatan yang dihasilkan setelah mengevaluasi aturan dan penganalisis.
StartDataQualityRuleRecommendationRunRequest struktur
Permintaan permintaan rekomendasi aturan Kualitas Data.
Bidang
-
DataSource
— Wajib: Sebuah objek DataSource.Sumber data (AWS Glue tabel) yang terkait dengan proses ini.
-
Role
- Diperlukan: UTF -8 string.IAM Peran yang diberikan untuk mengenkripsi hasil proses.
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah
G.1X
pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5. -
Timeout
— Nomor (bilangan bulat), minimal 1.Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki
TIMEOUT
status. Default-nya adalah 2.880 menit (48 jam). -
CreatedRulesetName
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternSebuah nama untuk ruleset.
-
DataQualitySecurityConfiguration
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
-
ClientToken
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternDigunakan untuk idempotensi dan direkomendasikan untuk disetel ke ID acak (seperti aUUID) untuk menghindari membuat atau memulai beberapa instance dari sumber daya yang sama.
GetDataQualityRuleRecommendationRunResponse struktur
Respons untuk rekomendasi aturan Kualitas Data dijalankan.
Bidang
-
RunId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternPengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.
-
DataSource
— Sebuah objek DataSource.Sumber data ( AWS Glue tabel) yang terkait dengan proses ini.
-
Role
— UTF -8 string.IAM Peran yang diberikan untuk mengenkripsi hasil proses.
-
NumberOfWorkers
— Nomor (bilangan bulat).Jumlah
G.1X
pekerja yang akan digunakan dalam pelarian. Default-nya adalah 5. -
Timeout
— Nomor (bilangan bulat), minimal 1.Batas waktu untuk berlari dalam hitungan menit. Ini adalah waktu maksimum yang dijalankan dapat mengkonsumsi sumber daya sebelum dihentikan dan memasuki
TIMEOUT
status. Default-nya adalah 2.880 menit (48 jam). -
Status
— UTF -8 string (nilai valid:RUNNING
FINISHED
|FAILED
|PENDING_EXECUTION
|TIMED_OUT
|CANCELING
CANCELED
|RECEIVED_BY_TASKRUNNER
).Status untuk eksekusi ini.
-
ErrorString
— UTF -8 string.String kesalahan yang terkait dengan proses.
-
StartedOn
— Stempel waktu.Tanggal dan waktu kapan proses ini dimulai.
-
LastModifiedOn
— Stempel waktu.Sebuah stempel waktu. Poin terakhir saat rekomendasi aturan kualitas data ini dijalankan telah dimodifikasi.
-
CompletedOn
— Stempel waktu.Tanggal dan waktu saat proses ini selesai.
-
ExecutionTime
— Nomor (bilangan bulat).Jumlah waktu (dalam detik) bahwa run mengkonsumsi sumber daya.
-
RecommendedRuleset
UTF-8 string, panjangnya tidak kurang dari 1 atau lebih dari 65536 byte.Ketika proses rekomendasi aturan mulai selesai, itu membuat kumpulan aturan yang direkomendasikan (seperangkat aturan). Anggota ini memiliki aturan tersebut dalam format Data Quality Definition Language (DQDL).
-
CreatedRulesetName
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternNama ruleset yang dibuat oleh run.
-
DataQualitySecurityConfiguration
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternNama konfigurasi keamanan yang dibuat dengan opsi enkripsi kualitas data.
BatchPutDataQualityStatisticAnnotation tindakan (Python: batch_put_data_quality_statistic_annotation)
Beri anotasi titik data dari waktu ke waktu untuk statistik kualitas data tertentu.
Permintaan
-
InclusionAnnotations
– Wajib: Susunan objek DatapointInclusionAnnotation.Sebuah daftar
DatapointInclusionAnnotation
. -
ClientToken
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternToken Klien.
Respons
-
FailedInclusionAnnotations
– Susunan objek AnnotationError.Sebuah daftar
AnnotationError
.
Kesalahan
EntityNotFoundException
InvalidInputException
InternalServiceException
ResourceNumberLimitExceededException
GetDataQualityModel tindakan (Python: get_data_quality_model)
Ambil status pelatihan model bersama dengan informasi lebih lanjut (CompletedOn, StartedOn, FailureReason).
Permintaan
-
StatisticId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternID Statistik.
-
ProfileId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternID Profil.
Respons
-
Status
— UTF -8 string (nilai valid:RUNNING
|SUCCEEDED
|FAILED
).Status pelatihan model kualitas data.
-
StartedOn
— Stempel waktu.Stempel waktu saat pelatihan model kualitas data dimulai.
-
CompletedOn
— Stempel waktu.Stempel waktu saat pelatihan model kualitas data selesai.
-
FailureReason
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternAlasan kegagalan pelatihan.
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
GetDataQualityModelResult tindakan (Python: get_data_quality_model_result)
Ambil prediksi statistik untuk ID Profil tertentu.
Permintaan
-
StatisticId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternID Statistik.
-
ProfileId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternID Profil.
Respons
-
CompletedOn
— Stempel waktu.Stempel waktu saat pelatihan model kualitas data selesai.
-
Model
– Susunan objek StatisticModelResult.Daftar dari
StatisticModelResult
Kesalahan
EntityNotFoundException
InvalidInputException
OperationTimeoutException
InternalServiceException
ListDataQualityStatisticAnnotations tindakan (Python: list_data_quality_statistic_annotations)
Ambil anotasi untuk statistik kualitas data.
Permintaan
-
StatisticId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternID Statistik.
-
ProfileId
- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string patternID Profil.
-
TimestampFilter
— Sebuah objek TimestampFilter.Filter stempel waktu.
-
MaxResults
— Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.Jumlah maksimum hasil untuk dikembalikan dalam permintaan ini.
-
NextToken
— UTF -8 string.Token pagination untuk mengambil set hasil berikutnya.
Respons
-
Annotations
– Susunan objek StatisticAnnotation.Daftar yang
StatisticAnnotation
diterapkan pada Statistik -
NextToken
— UTF -8 string.Token pagination untuk mengambil set hasil berikutnya.
Kesalahan
InvalidInputException
InternalServiceException
PutDataQualityProfileAnnotation tindakan (Python: put_data_quality_profile_annotation)
Anotasi semua titik data untuk Profil.
Permintaan
-
ProfileId
- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string patternID profil pemantauan kualitas data untuk membuat anotasi.
-
InclusionAnnotation
- Diperlukan: UTF -8 string (nilai valid:INCLUDE
|EXCLUDE
).Nilai anotasi inklusi untuk diterapkan ke profil.
Respons
Tidak ada parameter Respons.
Kesalahan
EntityNotFoundException
InvalidInputException
InternalServiceException