View a markdown version of this page

SageMaker referensi Python SDK penyaringan cerdas - Amazon SageMaker AI
SageMaker modul konfigurasi penyaringan cerdasSageMaker modul transformasi batch data penyaringan cerdasSageMaker modul implementasi kerugian penyaringan cerdasSageMaker modul pembungkus pemuat data pengayak cerdas

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

SageMaker referensi Python SDK penyaringan cerdas

Halaman ini menyediakan referensi modul Python yang Anda butuhkan untuk menerapkan penyar SageMaker ingan cerdas ke skrip pelatihan Anda.

SageMaker modul konfigurasi penyaringan cerdas

class smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()

Kelas konfigurasi penyaringan SageMaker pintar.

Parameter

  • beta_value(float) — Nilai beta (konstan). Ini digunakan untuk menghitung probabilitas memilih sampel untuk pelatihan berdasarkan persentil kerugian dalam riwayat nilai kerugian. Menurunkan nilai beta menghasilkan persentase data yang diayak yang lebih rendah, dan meningkatkannya menghasilkan persentase data yang diayak yang lebih tinggi. Tidak ada nilai minimum atau maksimum untuk nilai beta, selain itu harus nilai positif. Tabel referensi berikut memberikan informasi untuk tingkat penyaringan sehubungan denganbeta_value.

    beta_value Proporsi data yang disimpan (%) Proporsi data yang disaring (%)
    0.1 90.91 9.01
    0.25 80 20
    0.5 66.67 33.33
    1 50 50
    2 33.33 66.67
    3 25 75
    10 9.09 90.92
    100 0.99 99.01

  • loss_history_length(int) — Jumlah kerugian pelatihan sebelumnya yang akan disimpan untuk pengambilan sampel berdasarkan kerugian ambang batas relatif.

  • loss_based_sift_config(dict atau LossConfig objek) — Tentukan LossConfig objek yang mengembalikan konfigurasi antarmuka L SageMaker oss pengilingan cerdas.

class smart_sifting.sift_config.sift_configs.LossConfig()

Kelas konfigurasi untuk loss_based_sift_config parameter RelativeProbabilisticSiftConfig kelas.

Parameter

  • sift_config(dict atau SiftingBaseConfig objek) — Tentukan SiftingBaseConfig objek yang mengembalikan kamus konfigurasi dasar penyaringan.

class smart_sifting.sift_config.sift_configs.SiftingBaseConfig()

Kelas konfigurasi untuk sift_config parameterLossConfig.

Parameter

  • sift_delay(int) — Jumlah langkah pelatihan yang harus ditunggu sebelum mulai menyaring. Kami menyarankan Anda mulai menyaring setelah semua lapisan dalam model memiliki tampilan data pelatihan yang cukup. Nilai default-nya adalah 1000.

  • repeat_delay_per_epoch(bool) — Tentukan apakah akan menunda penyaringan setiap zaman. Nilai default-nya adalah False.

SageMaker modul transformasi batch data penyaringan cerdas

class smart_sifting.data_model.data_model_interface.SiftingBatchTransform

Modul Python penyaringan SageMaker cerdas untuk menentukan cara melakukan transformasi batch. Dengan menggunakan ini, Anda dapat mengatur kelas transformasi batch yang mengonversi format data data pelatihan Anda ke SiftingBatch format. SageMaker saringan cerdas dapat menyaring dan mengumpulkan data dalam format ini ke dalam batch yang diayak.

class smart_sifting.data_model.data_model_interface.SiftingBatch

Antarmuka untuk menentukan tipe data batch yang dapat diayak dan diakumulasikan.

class smart_sifting.data_model.list_batch.ListBatch

Modul untuk melacak kumpulan daftar untuk disaring.

class smart_sifting.data_model.tensor_batch.TensorBatch

Modul untuk melacak batch tensor untuk diayak.

SageMaker modul implementasi kerugian penyaringan cerdas

class smart_sifting.loss.abstract_sift_loss_module.Loss

Modul pembungkus untuk mendaftarkan antarmuka pengayak SageMaker pintar ke fungsi kehilangan model. PyTorch-based

SageMaker modul pembungkus pemuat data pengayak cerdas

class smart_sifting.dataloader.sift_dataloader.SiftingDataloader

Modul pembungkus untuk mendaftarkan antarmuka SageMaker penyaringan pintar ke pemuat data model PyTorch-based .

Iterator Main Sifting Dataloader menyaring sampel pelatihan dari pemuat data berdasarkan konfigurasi ayak.

Parameter

  • sift_config(dict atau RelativeProbabilisticSiftConfig objek) — Sebuah RelativeProbabilisticSiftConfig objek.

  • orig_dataloader( PyTorch DataLoader objek) — Tentukan objek PyTorch Dataloader yang akan dibungkus.

  • batch_transforms(SiftingBatchTransformobjek) — (Opsional) Jika format data Anda tidak didukung oleh transformasi default pustaka penyaringan SageMaker pintar, Anda harus membuat kelas transformasi batch menggunakan SiftingBatchTransform modul. Parameter ini digunakan untuk melewati kelas transformasi batch. Kelas ini digunakan untuk SiftingDataloader mengubah data ke dalam format yang dapat diterima oleh algoritma penyaringan SageMaker cerdas.

  • model(objek PyTorch model) - PyTorch Model asli

  • loss_impl(fungsi kehilangan penyaringansmart_sifting.loss.abstract_sift_loss_module.Loss) - Fungsi kehilangan pengayak yang dikonfigurasi dengan Loss modul dan membungkus fungsi kerugian PyTorch .

  • log_batch_data(bool) — Tentukan apakah akan mencatat data batch. Jika diset True el ke, penyaringan SageMaker cerdas mencatat detail batch yang disimpan atau diayak. Kami menyarankan Anda menyalakannya hanya untuk pekerjaan pelatihan pilot. Saat logging aktif, sampel dimuat ke GPU dan ditransfer ke CPU, yang memperkenalkan overhead. Nilai default-nya adalah False.