Pembelajaran mesin API - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pembelajaran mesin API

Pembelajaran mesin API menjelaskan tipe data pembelajaran mesin, dan mencakup API untuk membuat, menghapus, atau memperbarui transformasi, atau memulai tugas pembelajaran mesin.

Jenis data

TransformParameters struktur

Parameter spesifik algoritme yang dikaitkan dengan transformasi machine learning.

Bidang
  • TransformType- Diperlukan: UTF -8 string (nilai valid:FIND_MATCHES).

    Jenis transformasi machine learning.

    Untuk informasi tentang jenis transformasi machine learning, lihat Membuat Machine Learning.

  • FindMatchesParameters — Sebuah objek FindMatchesParameters.

    Parameter untuk menemukan kecocokan algoritme.

EvaluationMetrics struktur

Metrik evaluasi memberikan perkiraan kualitas dari transformasi machine learning Anda.

Bidang
  • TransformType- Diperlukan: UTF -8 string (nilai valid:FIND_MATCHES).

    Jenis transformasi machine learning.

  • FindMatchesMetrics — Sebuah objek FindMatchesMetrics.

    Metrik evaluasi untuk algoritme temukan kecocokan.

MLTransformstruktur

Struktur untuk sebuah transformasi machine learning.

Bidang
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    ID transformasi unik yang dihasilkan untuk transformasi machine learning. ID tersebut dijamin unik dan tidak berubah.

  • Name- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama yang ditetapkan pengguna untuk transformasi machine learning. Nama tersebut tidak dijamin unik dan dapat diubah setiap saat.

  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Sebuah teks deskripsi dalam bentuk panjang yang ditetapkan pengguna untuk transformasi machine learning. Deskripsi tersebut tidak dijamin unik dan dapat diubah kapan saja.

  • Status— UTF -8 string (nilai valid: NOT_READY | READY |DELETING).

    Status transformasi machine learning saat ini.

  • CreatedOn — Stempel waktu.

    Sebuah stempel waktu. Waktu dan tanggal saat transformasi machine learning ini diciptakan.

  • LastModifiedOn — Stempel waktu.

    Sebuah stempel waktu. Titik dalam waktu terakhir ketika transformasi machine learning ini dimodifikasi.

  • InputRecordTables — Susunan objek GlueTable, tidak lebih dari 10 struktur.

    Daftar definisi AWS Glue tabel yang digunakan oleh transformasi.

  • Parameters — Sebuah objek TransformParameters.

    Sebuah objek TransformParameters. Anda dapat menggunakan parameter untuk menyetel (menyesuaikan) perilaku transformasi machine learning dengan menentukan data apa yang dipelajari dan preferensi Anda pada berbagai tradeoff (seperti precious vs recall, atau akurasi vs biaya).

  • EvaluationMetrics — Sebuah objek EvaluationMetrics.

    Sebuah objek EvaluationMetrics. Metrik evaluasi memberikan perkiraan kualitas dari transformasi machine learning Anda.

  • LabelCount — Nomor (bilangan bulat).

    Pengidentifikasi hitungan untuk file pelabelan yang dihasilkan oleh AWS Glue untuk transformasi ini. Karena Anda membuat transformasi yang lebih baik, maka Anda dapat secara berulang mengunduh, label, dan mengunggah file pelabelan.

  • Schema — Susunan objek SchemaColumn, tidak lebih dari 100 struktur.

    Sebuah peta pasangan nilai-kunci yang mewakili kolom dan tipe data yang dapat dijalankan oleh transformasi ini terhadapnya. Memiliki batas atas 100 kolom.

  • Role— UTF -8 string.

    Nama atau Amazon Resource Name (ARN) IAM peran dengan izin yang diperlukan. Izin yang diperlukan mencakup izin peran AWS Glue layanan ke AWS Glue sumber daya, dan izin Amazon S3 yang diperlukan oleh transformasi.

    • Peran ini membutuhkan izin peran AWS Glue layanan untuk memungkinkan akses ke sumber daya. AWS Glue Lihat Melampirkan Kebijakan ke IAM Pengguna yang Mengakses AWS Glue.

    • Peran ini memerlukan izin ke sumber Amazon Simple Storage Service (Amazon S3), target, direktori sementara, skrip, dan perpustakaan yang digunakan oleh tugas yang dijalankan untuk transformasi ini.

  • GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

    Nilai ini menentukan versi transformasi pembelajaran mesin AWS Glue ini yang kompatibel. Glue 1.0 direkomendasikan untuk sebagian besar pelanggan. Jika nilai tidak diatur, maka kompatibilitas Glue secara default diatur ke Glue 0.9. Untuk informasi selengkapnya, lihat Versi AWS Glue dalam panduan developer.

  • MaxCapacity — Nomor (ganda).

    Jumlah unit pemrosesan AWS Glue data (DPUs) yang dialokasikan ke tugas berjalan untuk transformasi ini. Anda dapat mengalokasikan dari 2 hingga 100DPUs; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    MaxCapacity adalah pilihan yang eksklusif satu sama lain dengan NumberOfWorkers dan WorkerType.

    • Jika NumberOfWorkers atau WorkerType diatur, maka MaxCapacity tidak dapat diatur.

    • Jika MaxCapacity diatur, maka NumberOfWorkers atau WorkerType tidak dapat diatur.

    • Jika WorkerType diatur, maka NumberOfWorkers wajib (dan sebaliknya).

    • MaxCapacity dan NumberOfWorkers, keduanya minimal harus 1.

    Saat bidang WorkerType diatur ke nilai selain Standard, maka bidang MaxCapacity diatur secara otomatis dan menjadi baca-saja.

  • WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika sebuah tugas dari transformasi ini dieksekusi. Menerima nilai Standard, G.1X, atau G.2X.

    • Untuk tipe Standard pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 50GB, dan 2 pelaksana per pekerja.

    • Untuk tipe G.1X pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 64GB, dan 1 eksekutor per pekerja.

    • Untuk tipe G.2X pekerja, setiap pekerja menyediakan 8 vCPU, 32 GB memori dan 128GB disk, dan 1 eksekutor per pekerja.

    MaxCapacity adalah pilihan yang eksklusif satu sama lain dengan NumberOfWorkers dan WorkerType.

    • Jika NumberOfWorkers atau WorkerType diatur, maka MaxCapacity tidak dapat diatur.

    • Jika MaxCapacity diatur, maka NumberOfWorkers atau WorkerType tidak dapat diatur.

    • Jika WorkerType diatur, maka NumberOfWorkers wajib (dan sebaliknya).

    • MaxCapacity dan NumberOfWorkers, keduanya minimal harus 1.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType yang ditentukan yang dialokasikan ketika sebuah tugas dari transformasi berjalan.

    Jika WorkerType diatur, maka NumberOfWorkers wajib (dan sebaliknya).

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis dalam hitungan menit dari transformasi machine learning.

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah percobaan maksimum untuk mencoba kembali setelah sebuah MLTaskRun dari transformasi machine learning gagal.

  • TransformEncryption — Sebuah objek TransformEncryption.

    encryption-at-restPengaturan transformasi yang berlaku untuk mengakses data pengguna. Transformasi pembelajaran mesin dapat mengakses data pengguna yang dienkripsi di Amazon S3 menggunakan. KMS

FindMatchesParameters struktur

Parameter untuk mengonfigurasi perubahan kecocokan penemuan.

Bidang
  • PrimaryKeyColumnName- UTF -8 string, tidak kurang dari 1 atau lebih dari 1024 byte panjang, cocok dengan. Single-line string pattern

    Nama kolom yang secara unik mengidentifikasi baris di tabel sumber. Digunakan untuk membantu mengidentifikasi catatan yang cocok.

  • PrecisionRecallTradeoff — Nomor (ganda), tidak lebih dari 1.0.

    Nilai yang dipilih saat menyetel transformasi Anda untuk keseimbangan antara presisi dan pemanggilan ulang. Nilai 0,5 artinya tidak ada preferensi; nilai 1,0 artinya bias murni untuk presisi, dan nilai 0,0 artinya bias untuk pemanggilan ulang. Karena ini adalah tradeoff, pemilihan nilai yang mendekati 1,0 artinya pemanggilan ulang yang sangat rendah, dan pemilihan nilai yang mendekati 0,0 menghasilkan presisi yang sangat rendah.

    Metrik presisi menunjukkan seberapa sering model Anda benar saat memprediksi kecocokan.

    Metrik pemanggilan ulang menunjukkan bahwa untuk kecocokan aktual, seberapa sering model Anda memprediksi kecocokan.

  • AccuracyCostTradeoff — Nomor (ganda), tidak lebih dari 1.0.

    Nilai yang dipilih saat menyetel perubahan Anda untuk keseimbangan antara akurasi dan biaya. Nilai 0,5 artinya sistem menyeimbangkan masalah akurasi dan biaya. Nilai 1,0 artinya bias murni untuk akurasi, yang biasanya menghasilkan biaya yang lebih tinggi, terkadang sangat tinggi. Nilai 0,0 berarti bias murni untuk biaya, yang menghasilkan perubahan FindMatches yang kurang akurat, terkadang dengan akurasi yang tidak dapat diterima.

    Akurasi mengukur seberapa baik perubahan menemukan positif sejati dan negatif sejati. Peningkatan akurasi memerlukan lebih banyak sumber daya dan biaya mesin. Tetapi, itu juga menghasilkan peningkatan pemanggilan ulang.

    Biaya mengukur berapa banyak sumber daya komputasi, sehingga uang, dikonsumsi untuk menjalankan perubahan.

  • EnforceProvidedLabels – Boolean.

    Nilai yang diaktifkan atau dinonaktifkan untuk memaksa output agar cocok dengan label yang disediakan dari pengguna. Jika nilainya adalah True, perubahan find matches memaksa output agar cocok dengan label yang disediakan. Hasilnya menimpa hasil penggabungan normal. Jika nilainya adalah False, perubahan find matches tidak memastikan semua label yang disediakan diperhatikan, dan hasilnya bergantung pada model terlatih.

    Perhatikan bahwa pengaturan nilai ini ke betul dapat meningkatkan waktu eksekusi penggabungan.

FindMatchesMetrics struktur

Metrik evaluasi untuk algoritme temukan kecocokan. Kualitas transformasi machine learning Anda diukur dengan membuat transformasi Anda memprediksi beberapa kecocokan dan membandingkan hasilnya dengan kecocokan yang diketahui dari set data yang sama. Metrik kualitas didasarkan pada subset data Anda, sehingga mereka tidak tepat.

Bidang
  • AreaUnderPRCurve — Nomor (ganda), tidak lebih dari 1.0.

    Area di bawah kurva presisi/recall (AUPRC) adalah angka tunggal yang mengukur kualitas keseluruhan transformasi, yang tidak tergantung pada pilihan yang dibuat untuk presisi vs. recall. Nilai yang lebih tinggi menunjukkan bahwa Anda memiliki precision vs. recall tradeoff yang lebih menarik.

    Untuk informasi selengkapnya, lihat Precision dan recall di Wikipedia.

  • Precision — Nomor (ganda), tidak lebih dari 1.0.

    Metrik presisi menunjukkan seberapa sering transformasi Anda benar saat memprediksi kecocokan. Secara khusus, ia mengukur seberapa baik transformasi menemukan kemungkinan positif sejati dari total positif sejati.

    Untuk informasi selengkapnya, lihat Precision dan recall di Wikipedia.

  • Recall — Nomor (ganda), tidak lebih dari 1.0.

    Metrik pemanggilan ulang menunjukkan bahwa untuk kecocokan aktual, seberapa sering transformasi Anda memprediksi kecocokan. Secara khusus, ia mengukur seberapa baik transformasi menemukan benar positif dari total catatan dalam data sumber.

    Untuk informasi selengkapnya, lihat Precision dan recall di Wikipedia.

  • F1 — Nomor (ganda), tidak lebih dari 1.0.

    Metrik F1 maksimal menunjukkan akurasi transformasi antara 0 dan 1, di mana 1 adalah akurasi terbaik.

    Untuk informasi selengkapnya, lihat Skor F1 di Wikipedia.

  • ConfusionMatrix — Sebuah objek ConfusionMatrix.

    Matriks kebingungan menunjukkan kepada Anda apa yang transformasi Anda prediksi secara akurat dan jenis kesalahan apa yang dibuat.

    Untuk informasi selengkapnya, lihat Matriks kebingungan di Wikipedia.

  • ColumnImportances — Susunan objek ColumnImportance, tidak lebih dari 100 struktur.

    Daftar struktur ColumnImportance yang berisi metrik nilai penting kolom, yang diurutkan dalam urutan nilai penting yang semakin menurun.

ConfusionMatrix struktur

Matriks kebingungan menunjukkan kepada Anda apa yang transformasi Anda prediksi secara akurat dan jenis kesalahan apa yang dibuat.

Untuk informasi selengkapnya, lihat Matriks kebingungan di Wikipedia.

Bidang
  • NumTruePositives — Nomor (panjang).

    Jumlah kecocokan dalam data yang dengan benar ditemukan oleh transformasi, dalam matriks kebingungan untuk transformasi Anda.

  • NumFalsePositives — Nomor (panjang).

    Jumlah ketidakcocokan dalam data yang keliru diklasifikasikan oleh transformasi sebagai sebuah kecocokan, dalam matriks kebingungan untuk transformasi Anda.

  • NumTrueNegatives — Nomor (panjang).

    Jumlah ketidakcocokan dalam data yang dengan benar ditolak oleh transformasi, dalam matriks kebingungan untuk transformasi Anda.

  • NumFalseNegatives — Nomor (panjang).

    Jumlah kecocokan dalam data yang tidak ditemukan oleh transformasi, dalam matriks kebingungan untuk transformasi Anda.

GlueTable struktur

Database dan tabel dalam AWS Glue Data Catalog yang digunakan untuk input atau output data.

Bidang
  • DatabaseName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Nama database di AWS Glue Data Catalog.

  • TableName- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Nama tabel di AWS Glue Data Catalog.

  • CatalogId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk AWS Glue Data Catalog.

  • ConnectionName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama koneksi ke AWS Glue Data Catalog.

  • AdditionalOptions— Sebuah array peta pasangan kunci-nilai, tidak kurang dari 1 atau lebih dari 10 pasang.

    Setiap kunci adalah string UTF -8, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Setiap nilai adalah string Deskripsi, panjangnya tidak lebih dari 2048 byte, cocok dengan. URI address multi-line string pattern

    Opsi tambahan untuk tabel. Saat ini ada dua kunci yang didukung:

    • pushDownPredicate: untuk memfilter pada partisi tanpa harus daftar dan membaca semua file dalam dataset Anda.

    • catalogPartitionPredicate: untuk menggunakan pemangkasan partisi sisi server menggunakan indeks partisi di. AWS Glue Data Catalog

TaskRun struktur

Parameter pengambilan sampel yang dikaitkan dengan transformasi machine learning.

Bidang
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk transformasi.

  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk eksekusi tugas ini.

  • Status— UTF -8 string (nilai valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

    Status eksekusi tugas yang diminta saat ini.

  • LogGroupName— UTF -8 string.

    Nama grup log untuk pencatatan log yang aman, yang dikaitkan dengan eksekusi tugas ini.

  • Properties — Sebuah objek TaskRunProperties.

    Menentukan properti konfigurasi yang dikaitkan dengan eksekusi tugas ini.

  • ErrorString— UTF -8 string.

    Daftar string kesalahan yang dikaitkan dengan eksekusi tugas ini.

  • StartedOn — Stempel waktu.

    Tanggal dan waktu saat eksekusi tugas ini dimulai.

  • LastModifiedOn — Stempel waktu.

    Titik dalam waktu terakhir saat eksekusi tugas yang diminta diperbarui.

  • CompletedOn — Stempel waktu.

    Titik dalam waktu terakhir saat eksekusi tugas yang diminta selesai.

  • ExecutionTime — Nomor (bilangan bulat).

    Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.

TransformFilterCriteria struktur

Kriteria yang digunakan untuk mem-filter transformasi machine learning.

Bidang
  • Name- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Sebuah nama transformasi unik yang digunakan untuk mem-filter transformasi machine learning.

  • TransformType— UTF -8 string (nilai valid:FIND_MATCHES).

    Jenis transformasi machine learning yang digunakan untuk mem-filter transformasi machine learning.

  • Status— UTF -8 string (nilai valid: NOT_READY | READY |DELETING).

    Memfilter daftar transformasi machine learning berdasarkan status transformasi terakhir yang diketahui (untuk menunjukkan apakah transformasi dapat digunakan atau tidak). Salah satu dari "NOT_ READY “," READY “, atau"DELETING”.

  • GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

    Nilai ini menentukan versi transformasi pembelajaran mesin AWS Glue ini yang kompatibel. Glue 1.0 direkomendasikan untuk sebagian besar pelanggan. Jika nilai tidak diatur, maka kompatibilitas Glue secara default diatur ke Glue 0.9. Untuk informasi selengkapnya, lihat Versi AWS Glue dalam panduan developer.

  • CreatedBefore — Stempel waktu.

    Waktu dan tanggal sebelum transformasi dibuat.

  • CreatedAfter — Stempel waktu.

    Waktu dan tanggal setelah transformasi dibuat.

  • LastModifiedBefore — Stempel waktu.

    Filter berdasarkan modifikasi terakhir transformasi sebelum tanggal ini.

  • LastModifiedAfter — Stempel waktu.

    Filter berdasarkan modifikasi terakhir transformasi setelah tanggal ini.

  • Schema — Susunan objek SchemaColumn, tidak lebih dari 100 struktur.

    Filter berdasarkan set data dengan skema tertentu. Objek Map<Column, Type> adalah sebuah rangkaian dari pasangan nilai kunci yang mewakili skema yang diterima transformasi ini, di mana Column adalah nama kolom, dan Type adalah jenis data seperti integer atau string. Memiliki batas atas 100 kolom.

TransformSortCriteria struktur

Kriteria pengurutan yang terkait dengan transformasi machine learning.

Bidang
  • ColumnDiperlukan: UTF -8 string (nilai valid: NAME | | TRANSFORM_TYPE | STATUS CREATED |LAST_MODIFIED).

    Kolom yang akan digunakan dalam kriteria pengurutan yang terkait dengan transformasi machine learning.

  • SortDirection- Diperlukan: UTF -8 string (nilai valid: DESCENDING |ASCENDING).

    Arah pengurutan yang akan digunakan dalam kriteria pengurutan yang terkait dengan transformasi machine learning.

TaskRunFilterCriteria struktur

Kriteria yang digunakan untuk mem-filter eksekusi tugas untuk transformasi machine learning.

Bidang
  • TaskRunType— UTF -8 string (nilai valid: EVALUATION | | LABELING_SET_GENERATION | IMPORT_LABELS EXPORT_LABELS |FIND_MATCHES).

    Jenis eksekusi tugas.

  • Status— UTF -8 string (nilai valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

    Status eksekusi tugas saat ini.

  • StartedBefore — Stempel waktu.

    Filter berdasarkan eksekusi tugas yang dimulai sebelum tanggal ini.

  • StartedAfter — Stempel waktu.

    Filter berdasarkan eksekusi tugas yang dimulai setelah tanggal ini.

TaskRunSortCriteria struktur

Kriteria pemilahan yang digunakan untuk mengurutkan daftar eksekusi tugas untuk transformasi machine learning.

Bidang
  • Column- Diperlukan: UTF -8 string (nilai valid: TASK_RUN_TYPE | STATUS |STARTED).

    Kolom yang akan digunakan untuk mengurutkan daftar eksekusi tugas untuk transformasi machine learning.

  • SortDirection- Diperlukan: UTF -8 string (nilai valid: DESCENDING |ASCENDING).

    Arah pengurutan yang akan digunakan untuk mengurutkan daftar eksekusi tugas untuk transformasi machine learning.

TaskRunProperties struktur

Properti konfigurasi untuk eksekusi tugas.

Bidang
  • TaskType— UTF -8 string (nilai valid: EVALUATION | | LABELING_SET_GENERATION | IMPORT_LABELS EXPORT_LABELS |FIND_MATCHES).

    Jenis eksekusi tugas.

  • ImportLabelsTaskRunProperties — Sebuah objek ImportLabelsTaskRunProperties.

    Properti konfigurasi untuk eksekusi tugas label impor.

  • ExportLabelsTaskRunProperties — Sebuah objek ExportLabelsTaskRunProperties.

    Properti konfigurasi untuk eksekusi tugas label ekspor.

  • LabelingSetGenerationTaskRunProperties — Sebuah objek LabelingSetGenerationTaskRunProperties.

    Properti konfigurasi untuk eksekusi tugas pembuatan label set.

  • FindMatchesTaskRunProperties — Sebuah objek FindMatchesTaskRunProperties.

    Properti konfigurasi untuk eksekusi tugas temukan kecocokan.

FindMatchesTaskRunProperties struktur

Menentukan properti konfigurasi untuk eksekusi tugas Temukan Kecocokan.

Bidang
  • JobId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    ID tugas untuk eksekusi tugas Temukan Kecocokan.

  • JobName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama yang ditetapkan untuk tugas untuk eksekusi tugas Temukan Kecocokan.

  • JobRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    ID eksekusi tugas untuk eksekusi tugas Temukan Kecocokan.

ImportLabelsTaskRunProperties struktur

Menentukan properti konfigurasi untuk eksekusi tugas label impor.

Bidang
  • InputS3Path— UTF -8 string.

    Path Amazon Simple Storage Service (Amazon S3) tempat Anda akan mengimpor label.

  • Replace – Boolean.

    Menunjukkan apakah akan menimpa label yang ada.

ExportLabelsTaskRunProperties struktur

Menentukan properti konfigurasi untuk eksekusi tugas label ekspor.

Bidang
  • OutputS3Path— UTF -8 string.

    Path Amazon Simple Storage Service (Amazon S3) tempat Anda akan mengekspor label.

LabelingSetGenerationTaskRunProperties struktur

Menentukan properti konfigurasi untuk eksekusi tugas pembuatan label set.

Bidang
  • OutputS3Path— UTF -8 string.

    Path Amazon Simple Storage Service (Amazon S3) tempat Anda akan membuat set pelabelan.

SchemaColumn struktur

Sebuah pasangan nilai-kunci yang mewakili kolom dan tipe data yang dapat dijalankan oleh transformasi ini terhadapnya. Parameter Schema dari MLTransform yang mungkin terdiri hingga 100 struktur ini.

Bidang
  • Name- UTF -8 string, tidak kurang dari 1 atau lebih dari 1024 byte panjang, cocok dengan. Single-line string pattern

    Nama kolom.

  • DataType- UTF -8 string, panjangnya tidak lebih dari 131072 byte, cocok dengan. Single-line string pattern

    Jenis data dalam kolom.

TransformEncryption struktur

encryption-at-restPengaturan transformasi yang berlaku untuk mengakses data pengguna. Transformasi pembelajaran mesin dapat mengakses data pengguna yang dienkripsi di Amazon S3 menggunakan. KMS

Selain itu, label impor dan transformasi terlatih sekarang dapat dienkripsi menggunakan kunci yang disediakan pelanggan. KMS

Bidang
  • MlUserDataEncryption — Sebuah objek MLUserDataEncryption.

    MLUserDataEncryptionObjek yang berisi mode enkripsi dan ID KMS kunci yang disediakan pelanggan.

  • TaskRunSecurityConfigurationName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama konfigurasi keamanan.

MLUserDataEncryptionstruktur

encryption-at-restPengaturan transformasi yang berlaku untuk mengakses data pengguna.

Bidang
  • MlUserDataEncryptionMode- Diperlukan: UTF -8 string (nilai valid: DISABLED |SSE-KMS="SSEKMS").

    Mode enkripsi yang diterapkan untuk data pengguna. Nilai yang valid adalah:

    • DISABLED: enkripsi dinonaktifkan

    • SSEKMS: penggunaan enkripsi sisi server dengan AWS Key Management Service (SSE-KMS) untuk data pengguna yang disimpan di Amazon S3.

  • KmsKeyId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    ID untuk kunci yang disediakan pelangganKMS.

ColumnImportance struktur

Sebuah struktur yang berisi nama kolom dan skor nilai penting kolom untuk sebuah kolom.

Nilai penting kolom membantu Anda memahami bagaimana kolom berkontribusi pada model Anda, dengan mengidentifikasi kolom mana dalam catatan Anda yang lebih penting daripada kolom yang lain.

Bidang
  • ColumnName- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama sebuah kolom.

  • Importance — Nomor (ganda), tidak lebih dari 1.0.

    Skor nilai penting kolom untuk kolom, dalam desimal.

Operasi

reateMLTransform Tindakan C (Python: create_ml_transform)

Menciptakan transformasi pembelajaran AWS Glue mesin. Operasi ini menciptakan transformasi dan semua parameter yang diperlukan untuk melatih transformasi tersebut.

Panggil operasi ini sebagai langkah pertama dalam proses menggunakan sebuah transformasi machine learning (seperti transformasi FindMatches) untuk deduplikasi data. Anda dapat memberikan opsi Description, selain parameter yang ingin Anda gunakan untuk algoritme Anda.

Anda juga harus menentukan parameter tertentu untuk tugas yang AWS Glue berjalan atas nama Anda sebagai bagian dari pembelajaran dari data Anda dan membuat transformasi pembelajaran mesin berkualitas tinggi. Parameter ini mencakup Role, dan opsional, AllocatedCapacity, Timeout, dan MaxRetries. Untuk informasi lebih lanjut, lihat Tugas.

Permintaan
  • Name- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Nama unik yang Anda berikan untuk transformasi pada saat Anda membuatnya.

  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Sebuah deskripsi dari transformasi machine learning yang sedang didefinisikan. Default-nya adalah string kosong.

  • InputRecordTablesWajib: Susunan objek GlueTable, tidak lebih dari 10 struktur.

    Daftar definisi AWS Glue tabel yang digunakan oleh transformasi.

  • ParametersWajib: Sebuah objek TransformParameters.

    Parameter algoritmik yang spesifik untuk jenis transformasi yang digunakan. Secara kondisional tergantung pada jenis transformasi.

  • Role- Diperlukan: UTF -8 string.

    Nama atau Amazon Resource Name (ARN) IAM peran dengan izin yang diperlukan. Izin yang diperlukan mencakup izin peran AWS Glue layanan ke AWS Glue sumber daya, dan izin Amazon S3 yang diperlukan oleh transformasi.

    • Peran ini membutuhkan izin peran AWS Glue layanan untuk memungkinkan akses ke sumber daya. AWS Glue Lihat Melampirkan Kebijakan ke IAM Pengguna yang Mengakses AWS Glue.

    • Peran ini memerlukan izin ke sumber Amazon Simple Storage Service (Amazon S3), target, direktori sementara, skrip, dan perpustakaan yang digunakan oleh tugas yang dijalankan untuk transformasi ini.

  • GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

    Nilai ini menentukan versi transformasi pembelajaran mesin AWS Glue ini yang kompatibel. Glue 1.0 direkomendasikan untuk sebagian besar pelanggan. Jika nilai tidak diatur, maka kompatibilitas Glue secara default diatur ke Glue 0.9. Untuk informasi selengkapnya, lihat Versi AWS Glue dalam panduan developer.

  • MaxCapacity — Nomor (ganda).

    Jumlah unit pemrosesan AWS Glue data (DPUs) yang dialokasikan ke tugas berjalan untuk transformasi ini. Anda dapat mengalokasikan dari 2 hingga 100DPUs; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    MaxCapacity adalah pilihan yang eksklusif satu sama lain dengan NumberOfWorkers dan WorkerType.

    • Jika NumberOfWorkers atau WorkerType diatur, maka MaxCapacity tidak dapat diatur.

    • Jika MaxCapacity diatur, maka NumberOfWorkers atau WorkerType tidak dapat diatur.

    • Jika WorkerType diatur, maka NumberOfWorkers wajib (dan sebaliknya).

    • MaxCapacity dan NumberOfWorkers, keduanya minimal harus 1.

    Saat bidang WorkerType diatur ke nilai selain Standard, maka bidang MaxCapacity diatur secara otomatis dan menjadi baca-saja.

    Saat bidang WorkerType diatur ke nilai selain Standard, maka bidang MaxCapacity diatur secara otomatis dan menjadi baca-saja.

  • WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika tugas ini dieksekusi. Menerima nilai Standard, G.1X, atau G.2X.

    • Untuk tipe Standard pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 50GB, dan 2 pelaksana per pekerja.

    • Untuk tipe G.1X pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 64GB, dan 1 eksekutor per pekerja.

    • Untuk tipe G.2X pekerja, setiap pekerja menyediakan 8 vCPU, 32 GB memori dan 128GB disk, dan 1 eksekutor per pekerja.

    MaxCapacity adalah pilihan yang eksklusif satu sama lain dengan NumberOfWorkers dan WorkerType.

    • Jika NumberOfWorkers atau WorkerType diatur, maka MaxCapacity tidak dapat diatur.

    • Jika MaxCapacity diatur, maka NumberOfWorkers atau WorkerType tidak dapat diatur.

    • Jika WorkerType diatur, maka NumberOfWorkers wajib (dan sebaliknya).

    • MaxCapacity dan NumberOfWorkers, keduanya minimal harus 1.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika tugas ini dieksekusi.

    Jika WorkerType diatur, maka NumberOfWorkers wajib (dan sebaliknya).

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis untuk eksekusi tugas untuk transformasi ini, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk transformasi ini untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai default-nya adalah 2.880 menit (48 jam).

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah percobaan maksimum untuk mencoba kembali tugas untuk transformasi ini setelah eksekusi tugas gagal.

  • Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

    Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.

    Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.

    Tag yang akan digunakan dengan transformasi machine learning ini. Anda dapat menggunakan tag untuk membatasi akses ke transformasi machine learning tersebut. Untuk informasi selengkapnya tentang AWS tag AWS Glue, lihat Tag AWS Glue di panduan pengembang.

  • TransformEncryption — Sebuah objek TransformEncryption.

    encryption-at-restPengaturan transformasi yang berlaku untuk mengakses data pengguna. Transformasi pembelajaran mesin dapat mengakses data pengguna yang dienkripsi di Amazon S3 menggunakan. KMS

Respons
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Sebuah pengenal unik yang dihasilkan untuk transformasi.

Kesalahan
  • AlreadyExistsException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • AccessDeniedException

  • ResourceNumberLimitExceededException

  • IdempotentParameterMismatchException

pdateMLTransform Tindakan U (Python: update_ml_transform)

Memperbarui transformasi machine learning yang ada. Panggil operasi ini untuk menyetel parameter algoritme untuk mencapai hasil yang lebih baik.

Setelah memanggil operasi ini, Anda dapat memanggil operasi StartMLEvaluationTaskRun untuk menilai seberapa baik parameter baru Anda mencapai tujuan Anda (seperti meningkatkan kualitas transformasi machine learning Anda, atau membuatnya menjadi lebih hemat biaya).

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengenal unik yang dihasilkan saat transformasi dibuat.

  • Name- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama unik yang Anda berikan pada transformasi saat Anda membuatnya.

  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Sebuah deskripsi transformasi. Default-nya adalah string kosong.

  • Parameters — Sebuah objek TransformParameters.

    Parameter konfigurasi yang spesifik untuk jenis transformasi (algoritme) yang digunakan. Secara kondisional tergantung pada jenis transformasi.

  • Role— UTF -8 string.

    Nama atau Amazon Resource Name (ARN) IAM peran dengan izin yang diperlukan.

  • GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

    Nilai ini menentukan versi transformasi pembelajaran mesin AWS Glue ini yang kompatibel. Glue 1.0 direkomendasikan untuk sebagian besar pelanggan. Jika nilai tidak diatur, maka kompatibilitas Glue secara default diatur ke Glue 0.9. Untuk informasi selengkapnya, lihat Versi AWS Glue dalam panduan developer.

  • MaxCapacity — Nomor (ganda).

    Jumlah unit pemrosesan AWS Glue data (DPUs) yang dialokasikan ke tugas berjalan untuk transformasi ini. Anda dapat mengalokasikan dari 2 hingga 100DPUs; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Saat bidang WorkerType diatur ke nilai selain Standard, maka bidang MaxCapacity diatur secara otomatis dan menjadi baca-saja.

  • WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika tugas ini dieksekusi. Menerima nilai Standard, G.1X, atau G.2X.

    • Untuk tipe Standard pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 50GB, dan 2 pelaksana per pekerja.

    • Untuk tipe G.1X pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 64GB, dan 1 eksekutor per pekerja.

    • Untuk tipe G.2X pekerja, setiap pekerja menyediakan 8 vCPU, 32 GB memori dan 128GB disk, dan 1 eksekutor per pekerja.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika tugas ini dieksekusi.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis untuk sebuah eksekusi tugas untuk transformasi ini, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk transformasi ini untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai default-nya adalah 2.880 menit (48 jam).

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah percobaan maksimum untuk mencoba kembali tugas untuk transformasi ini setelah eksekusi tugas gagal.

Respons
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk transformasi yang sudah diperbarui.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • AccessDeniedException

eleteMLTransform Tindakan D (Python: delete_ml_transform)

Menghapus transformasi pembelajaran AWS Glue mesin. Transformasi machine learning adalah jenis transformasi khusus yang menggunakan machine learning untuk mempelajari detail transformasi yang akan dilakukan dengan belajar dari contoh yang diberikan oleh manusia. Transformasi ini kemudian diselamatkan oleh AWS Glue. Jika Anda tidak lagi memerlukan sebuah transformasi, maka Anda dapat menghapusnya dengan memanggil DeleteMLTransforms. Namun, AWS Glue pekerjaan apa pun yang masih mereferensikan transformasi yang dihapus tidak akan berhasil lagi.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi yang akan dihapus.

Respons
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik dari transformasi yang sudah dihapus.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

etMLTransform Tindakan G (Python: get_ml_transform)

Mendapat artefak transformasi pembelajaran AWS Glue mesin dan semua metadata yang sesuai. Transformasi machine learning adalah jenis transformasi khusus yang menggunakan machine learning untuk mempelajari detail transformasi yang akan dilakukan dengan belajar dari contoh yang diberikan oleh manusia. Transformasi ini kemudian diselamatkan oleh AWS Glue. Anda dapat mengambil metadata mereka dengan memanggil GetMLTransform.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik transformasi, yang dihasilkan pada saat transformasi dibuat.

Respons
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik transformasi, yang dihasilkan pada saat transformasi dibuat.

  • Name- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Nama unik yang diberikan pada transformasi saat transformasi tersebut dibuat.

  • Description — String deskripsi, dengan panjang tidak lebih dari 2048 byte, yang cocok dengan URI address multi-line string pattern.

    Sebuah deskripsi transformasi.

  • Status— UTF -8 string (nilai valid: NOT_READY | READY |DELETING).

    Status terakhir yang diketahui dari transformasi (untuk menunjukkan apakah transformasi dapat digunakan atau tidak). Salah satu dari "NOT_ READY “," READY “, atau"DELETING”.

  • CreatedOn — Stempel waktu.

    Tanggal dan waktu saat transformasi dibuat.

  • LastModifiedOn — Stempel waktu.

    Tanggal dan waktu saat transformasi terakhir diubah.

  • InputRecordTables — Susunan objek GlueTable, tidak lebih dari 10 struktur.

    Daftar definisi AWS Glue tabel yang digunakan oleh transformasi.

  • Parameters — Sebuah objek TransformParameters.

    Parameter konfigurasi khusus untuk algoritme yang digunakan.

  • EvaluationMetrics — Sebuah objek EvaluationMetrics.

    Metrik evaluasi terbaru.

  • LabelCount — Nomor (bilangan bulat).

    Jumlah label yang tersedia untuk transformasi ini.

  • Schema — Susunan objek SchemaColumn, tidak lebih dari 100 struktur.

    Objek Map<Column, Type> yang mewakili skema yang diterima transformasi ini. Memiliki batas atas 100 kolom.

  • Role— UTF -8 string.

    Nama atau Amazon Resource Name (ARN) IAM peran dengan izin yang diperlukan.

  • GlueVersion- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Custom string pattern #47

    Nilai ini menentukan versi transformasi pembelajaran mesin AWS Glue ini yang kompatibel. Glue 1.0 direkomendasikan untuk sebagian besar pelanggan. Jika nilai tidak diatur, maka kompatibilitas Glue secara default diatur ke Glue 0.9. Untuk informasi selengkapnya, lihat Versi AWS Glue dalam panduan developer.

  • MaxCapacity — Nomor (ganda).

    Jumlah unit pemrosesan AWS Glue data (DPUs) yang dialokasikan ke tugas berjalan untuk transformasi ini. Anda dapat mengalokasikan dari 2 hingga 100DPUs; defaultnya adalah 10. A DPU adalah ukuran relatif daya pemrosesan yang terdiri vCPUs dari 4 kapasitas komputasi dan memori 16 GB. Untuk informasi lebih lanjut, lihat halaman harga AWS Glue.

    Saat bidang WorkerType diatur ke nilai selain Standard, maka bidang MaxCapacity diatur secara otomatis dan menjadi baca-saja.

  • WorkerType— UTF -8 string (nilai valid: Standard="" | G.1X="" | G.2X="" | G.025X="" | G.4X="" G.8X="" |Z.2X="").

    Jenis pekerja yang telah ditetapkan sebelumnya yang dialokasikan ketika tugas ini dieksekusi. Menerima nilai Standard, G.1X, atau G.2X.

    • Untuk tipe Standard pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 50GB, dan 2 pelaksana per pekerja.

    • Untuk tipe G.1X pekerja, setiap pekerja menyediakan 4 vCPU, memori 16 GB dan disk 64GB, dan 1 eksekutor per pekerja.

    • Untuk tipe G.2X pekerja, setiap pekerja menyediakan 8 vCPU, 32 GB memori dan 128GB disk, dan 1 eksekutor per pekerja.

  • NumberOfWorkers — Nomor (bilangan bulat).

    Jumlah pekerja dari workerType ditentukan yang dialokasikan ketika tugas ini dieksekusi.

  • Timeout — Nomor (bilangan bulat), minimal 1.

    Waktu habis untuk sebuah eksekusi tugas untuk transformasi ini, dalam satuan menit. Ini adalah waktu maksimum yang bisa digunakan oleh eksekusi tugas untuk transformasi ini untuk menggunakan sumber daya sebelum eksekusi dihentikan dan memasuki status TIMEOUT. Nilai default-nya adalah 2.880 menit (48 jam).

  • MaxRetries — Nomor (bilangan bulat).

    Jumlah percobaan maksimum untuk mencoba kembali tugas untuk transformasi ini setelah eksekusi tugas gagal.

  • TransformEncryption — Sebuah objek TransformEncryption.

    encryption-at-restPengaturan transformasi yang berlaku untuk mengakses data pengguna. Transformasi pembelajaran mesin dapat mengakses data pengguna yang dienkripsi di Amazon S3 menggunakan. KMS

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

etMLTransforms Tindakan G (Python: get_ml_transforms)

Mendapat daftar transformasi pembelajaran AWS Glue mesin yang dapat diurutkan dan dapat disaring. Transformasi machine learning adalah jenis transformasi khusus yang menggunakan machine learning untuk mempelajari detail transformasi yang akan dilakukan dengan belajar dari contoh yang diberikan oleh manusia. Transformasi ini kemudian disimpan oleh AWS Glue, dan Anda dapat mengambil metadata mereka dengan menelepon. GetMLTransforms

Permintaan
  • NextToken— UTF -8 string.

    Sebuah token pemberian nomor halaman untuk mengimbangi hasil.

  • MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

    Jumlah hasil maksimum yang akan dikembalikan.

  • Filter — Sebuah objek TransformFilterCriteria.

    Kriteria transformasi filter.

  • Sort — Sebuah objek TransformSortCriteria.

    Kriteria pengurutan.

Respons
  • TransformsWajib: Susunan objek MLTransform.

    Sebuah daftar transformasi machine learning.

  • NextToken— UTF -8 string.

    Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

istMLTransforms Tindakan L (Python: list_ml_transforms)

Mengambil daftar yang dapat diurutkan dan disaring dari transformasi pembelajaran AWS Glue mesin yang ada di AWS akun ini, atau sumber daya dengan tag yang ditentukan. Operasi ini mengambil kolom Tags opsional, yang dapat Anda gunakan sebagai sebuah filter respon sehingga tag sumber daya dapat diambil sebagai sebuah grup. Jika Anda memilih untuk menggunakan pem-filter-an tag, maka hanya sumber daya dengan tag saja yang diambil.

Permintaan
  • NextToken— UTF -8 string.

    Sebuah token kelanjutan, jika ini adalah permintaan kelanjutan.

  • MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

    Ukuran maksimum daftar yang akan dikembalikan.

  • Filter — Sebuah objek TransformFilterCriteria.

    Sebuah TransformFilterCriteria yang digunakan untuk mem-filter transformasi machine learning.

  • Sort — Sebuah objek TransformSortCriteria.

    Sebuah TransformSortCriteria yang digunakan untuk mengurutkan transformasi machine learning.

  • Tags — Sebuah rangkaian peta pasangan nilai kunci, tidak lebih dari 50 pasang.

    Setiap kunci adalah string UTF -8, panjangnya tidak kurang dari 1 atau lebih dari 128 byte.

    Setiap nilai adalah string UTF -8, panjangnya tidak lebih dari 256 byte.

    Menentukan untuk mengembalikan hanya sumber daya ditandai saja.

Respons
  • TransformIdsDiperlukan: Sebuah array UTF -8 string.

    Pengidentifikasi semua transformasi machine learning dalam akun, atau transformasi machine learning dengan tag yang ditentukan.

  • NextToken— UTF -8 string.

    Sebuah token kelanjutan, jika daftar yang dikembalikan tidak berisi metrik terakhir yang tersedia.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

tartMLEvaluationTaskRun Tindakan S (Python: start_ml_evaluation_task_run)

Memulai tugas untuk memperkirakan kualitas transformasi.

Ketika Anda memberikan set label sebagai contoh kebenaran, pembelajaran AWS Glue mesin menggunakan beberapa contoh tersebut untuk belajar darinya. Selebihnya label digunakan sebagai pengujian untuk memperkirakan kualitas.

Mengembalikan sebuah pengidentifikasi unik untuk eksekusi. Anda dapat memanggil GetMLTaskRun untuk mendapatkan informasi lebih lanjut tentang statistik EvaluationTaskRun.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

Respons
  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik yang terkait dengan eksekusi ini.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • ConcurrentRunsExceededException

  • MLTransformNotReadyException

tartMLLabelingSetGenerationTaskRun Tindakan S (Python: start_ml_labeling_set_generation_task_run)

Memulai alur kerja pembelajaran aktif untuk transformasi machine learning Anda untuk meningkatkan kualitas transformasi dengan menghasilkan set label dan menambahkan label.

Saat StartMLLabelingSetGenerationTaskRun selesai, AWS Glue akan menghasilkan "set pelabelan" atau serangkaian pertanyaan yang harus dijawab oleh manusia.

Dalam kasus transformasi FindMatches, pertanyaan-pertanyaan ini berbentuk, "Apa cara yang benar untuk mengelompokkan baris ini bersama-sama ke dalam grup yang seluruhnya terdiri dari catatan yang cocok?"

Setelah proses pelabelan selesai, Anda dapat mengunggah label Anda dengan memanggil StartImportLabelsTaskRun. Setelah StartImportLabelsTaskRun selesai, semua eksekusi transformasi machine learning di masa depan akan menggunakan label baru dan yang telah ditingkatkan dan melakukan transformasi kualitas yang lebih tinggi.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • OutputS3Path- Diperlukan: UTF -8 string.

    Path Amazon Simple Storage Service (Amazon S3) tempat Anda membuat set pelabelan.

Respons
  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi tugas ini.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

  • ConcurrentRunsExceededException

G etMLTask Jalankan tindakan (Python: get_ml_task_run)

Mendapatkan detail untuk eksekusi tugas tertentu pada sebuah transformasi machine learning. Proses tugas pembelajaran mesin adalah tugas asinkron yang AWS Glue berjalan atas nama Anda sebagai bagian dari berbagai alur kerja pembelajaran mesin. Anda dapat memeriksa statistik dari setiap tugas yang dijalankan dengan memanggil GetMLTaskRun dengan TaskRunID dan TransformID dari transformasi induknya.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • TaskRunId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik eksekusi tugas.

Respons
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik eksekusi tugas.

  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi eksekusi unik yang dikaitkan dengan eksekusi ini.

  • Status— UTF -8 string (nilai valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

    Status untuk eksekusi tugas ini.

  • LogGroupName— UTF -8 string.

    Nama-nama grup log yang dikaitkan dengan eksekusi tugas.

  • Properties — Sebuah objek TaskRunProperties.

    Daftar properti yang dikaitkan dengan eksekusi tugas.

  • ErrorString— UTF -8 string.

    String kesalahan yang dikaitkan dengan eksekusi tugas.

  • StartedOn — Stempel waktu.

    Tanggal dan waktu ketika eksekusi tugas ini dimulai.

  • LastModifiedOn — Stempel waktu.

    Tanggal dan waktu ketika eksekusi tugas ini terakhir diubah.

  • CompletedOn — Stempel waktu.

    Tanggal dan waktu ketika eksekusi tugas ini selesai.

  • ExecutionTime — Nomor (bilangan bulat).

    Jumlah waktu (dalam satuan detik) di mana eksekusi tugas ini menggunakan sumber daya.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

G etMLTask Menjalankan tindakan (Python: get_ml_task_runs)

Mendapatkan sebuah daftar eksekusi untuk transformasi machine learning. Proses tugas pembelajaran mesin adalah tugas asinkron yang AWS Glue berjalan atas nama Anda sebagai bagian dari berbagai alur kerja pembelajaran mesin. Anda bisa mendapatkan daftar tugas machine learning yang dapat diurutkan dan disaring dengan memanggil GetMLTaskRuns dengan TransformID dari transformasi induknya dan parameter opsional lainnya seperti yang didokumentasikan di bagian ini.

Operasi ini mengembalikan daftar eksekusi historis dan harus diberi nomor halaman.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • NextToken— UTF -8 string.

    Sebuah token untuk pemberian nomor halaman hasil. Nilai default adalah (kosong).

  • MaxResults — Nomor (bilangan bulat), tidak kurang dari 1 atau lebih dari 1000.

    Jumlah hasil maksimum yang akan dikembalikan.

  • Filter — Sebuah objek TaskRunFilterCriteria.

    Kriteria filter, dalam struktur TaskRunFilterCriteria, untuk eksekusi tugas.

  • Sort — Sebuah objek TaskRunSortCriteria.

    Kriteria pengurutan, dalam struktur TaskRunSortCriteria, untuk eksekusi tugas.

Respons
  • TaskRuns – Susunan objek TaskRun.

    Daftar eksekusi tugas yang dikaitkan dengan transformasi.

  • NextToken— UTF -8 string.

    Sebuah token pemberian nomor halaman, jika ada lebih banyak hasil yang tersedia.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

C ancelMLTask Jalankan tindakan (Python: cancel_ml_task_run)

Membatalkan (menghentikan) sebuah eksekusi tugas. Proses tugas pembelajaran mesin adalah tugas asinkron yang AWS Glue berjalan atas nama Anda sebagai bagian dari berbagai alur kerja pembelajaran mesin. Anda dapat membatalkan sebuah eksekusi tugas machine learning kapan saja dengan memanggil CancelMLTaskRun dengan TransformID transformasi induk dari sebuah eksekusi tugas dan TaskRunId dari eksekusi tugas.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • TaskRunId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Sebuah pengidentifikasi unik untuk eksekusi tugas.

Respons
  • TransformId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk eksekusi tugas.

  • Status— UTF -8 string (nilai valid: RUNNING FINISHED | FAILED | PENDING_EXECUTION | TIMED_OUT | CANCELING CANCELED |RECEIVED_BY_TASKRUNNER).

    Status untuk eksekusi ini.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

StartExportLabelsTaskRun tindakan (Python: start_export_labels_task_run)

Memulai tugas asinkron untuk mengekspor semua data berlabel untuk sebuah transformasi tertentu. Tugas ini adalah satu-satunya API panggilan terkait label yang bukan merupakan bagian dari alur kerja pembelajaran aktif yang khas. Anda biasanya menggunakan StartExportLabelsTaskRun saat Anda ingin bekerja dengan semua label yang ada pada saat yang sama, seperti saat Anda ingin menghapus atau mengubah label yang sebelumnya dikirimkan sebagai kebenaran. APIOperasi ini menerima label TransformId siapa yang ingin Anda ekspor dan jalur Amazon Simple Storage Service (Amazon S3) untuk mengekspor label. Operasi tersebut mengembalikan TaskRunId. Anda dapat memeriksa status tugas Anda yang dijalankan dengan memanggil file GetMLTaskRunAPI.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • OutputS3Path- Diperlukan: UTF -8 string.

    Path Amazon S3 di mana Anda mengekspor label.

Respons
  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk eksekusi tugas.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • InternalServiceException

StartImportLabelsTaskRun tindakan (Python: start_import_labels_task_run)

Memungkinkan Anda untuk memberikan label tambahan (contoh kebenaran) yang akan digunakan untuk mengajarkan transformasi machine learning dan meningkatkan kualitasnya. APIOperasi ini umumnya digunakan sebagai bagian dari alur kerja pembelajaran aktif yang dimulai dengan StartMLLabelingSetGenerationTaskRun panggilan dan yang pada akhirnya menghasilkan peningkatan kualitas transformasi pembelajaran mesin Anda.

Setelah StartMLLabelingSetGenerationTaskRun selesai, machine learning AWS Glue akan menghasilkan serangkaian pertanyaan yang akan dijawab oleh manusia. (Menjawab pertanyaan-pertanyaan ini sering disebut 'pelabelan' dalam alur kerja machine learning). Dalam kasus transformasi FindMatches, pertanyaan-pertanyaan ini berbentuk, "Apa cara yang benar untuk mengelompokkan baris ini bersama-sama ke dalam grup yang seluruhnya terdiri dari catatan yang cocok?" Setelah proses pelabelan selesai, pengguna mengunggah jawaban/label mereka dengan sebuah panggilan ke StartImportLabelsTaskRun. Setelah StartImportLabelsTaskRun selesai, semua eksekusi transformasi machine learning di masa depan menggunakan label baru dan yang telah ditingkatkan dan melakukan transformasi kualitas yang lebih tinggi.

Secara default, StartMLLabelingSetGenerationTaskRun terus belajar dari dan menggabungkan semua label yang Anda unggah kecuali Anda mengatur Replace ke BETUL. Jika Anda mengatur Replace ke BETUL, StartImportLabelsTaskRun akan menghapus dan melupakan semua label yang diunggah sebelumnya dan hanya belajar hanya dari set yang Anda unggah. Mengganti label dapat membantu jika Anda menyadari bahwa Anda sebelumnya mengunggah label yang salah, dan Anda meyakini bahwa label tersebut memiliki efek negatif pada kualitas transformasi Anda.

Anda dapat memeriksa status dari eksekusi tugas Anda dengan memanggil operasi GetMLTaskRun.

Permintaan
  • TransformId- Diperlukan: UTF -8 string, panjangnya tidak kurang dari 1 atau lebih dari 255 byte, cocok dengan file. Single-line string pattern

    Pengidentifikasi unik dari transformasi machine learning.

  • InputS3Path- Diperlukan: UTF -8 string.

    Path Amazon Simple Storage Service (Amazon S3) tempat Anda mengimpor label.

  • ReplaceAllLabels – Boolean.

    Menunjukkan apakah akan menimpa label yang ada.

Respons
  • TaskRunId- UTF -8 string, tidak kurang dari 1 atau lebih dari 255 byte panjang, cocok dengan. Single-line string pattern

    Pengidentifikasi unik untuk eksekusi tugas.

Kesalahan
  • EntityNotFoundException

  • InvalidInputException

  • OperationTimeoutException

  • ResourceNumberLimitExceededException

  • InternalServiceException