Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
SageMaker SDKPython-Referenz für intelligentes Sieben
Diese Seite enthält eine Referenz der Python-Module, die Sie benötigen, um SageMaker Smart Sifting auf Ihr Trainingsskript anzuwenden.
SageMaker Konfigurationsmodule für intelligentes Sieben
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
Die SageMaker Smart Sifting-Konfigurationsklasse.
Parameter
-
beta_value(float) — Ein Beta-Wert (konstant). Er wird verwendet, um anhand des Perzentils des Verlusts in der Historie der Verlustwerte die Wahrscheinlichkeit zu berechnen, mit der eine Stichprobe für das Training ausgewählt wird. Eine Senkung des Beta-Werts führt zu einem geringeren Prozentsatz gesiebter Daten, und eine Erhöhung des Betawerts führt zu einem höheren Prozentsatz gesiebter Daten. Es gibt keinen Mindest- oder Höchstwert für den Betawert, außer dass es sich um einen positiven Wert handeln muss. Die folgende Referenztabelle enthält Informationen zu den Prüfraten in Bezug aufbeta_value.beta_valueAnteil der gespeicherten Daten (%) Anteil der ausgesiebten Daten (%) 0.1 90,91 9,01 0,25 80 20 0.5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0.99 99,01 -
loss_history_length(int) — Die Anzahl der vorherigen Trainingsverluste, die für die auf dem relativen Schwellenwert basierende Stichprobe gespeichert werden soll. -
loss_based_sift_config(Diktat oderLossConfigObjekt) — Geben Sie einLossConfigObjekt an, das die SageMaker Smart Sifting Loss-Schnittstellenkonfiguration zurückgibt.
class
smart_sifting.sift_config.sift_configs.LossConfig()
Die Konfigurationsklasse für den loss_based_sift_config Parameter der RelativeProbabilisticSiftConfig Klasse.
Parameter
-
sift_config(Diktat oder Objekt) — Geben Sie einSiftingBaseConfigObjekt an, das einSiftingBaseConfigdurchsuchbares Basiskonfigurationswörterbuch zurückgibt.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
Die Konfigurationsklasse für den sift_config Parameter von. LossConfig
Parameter
-
sift_delay(int) — Die Anzahl der Trainingsschritte, auf die gewartet werden muss, bevor mit dem Sieben begonnen wird. Wir empfehlen, dass Sie mit dem Sieben beginnen, nachdem alle Ebenen im Modell ausreichend Einblick in die Trainingsdaten haben. Der Standardwert ist1000. -
repeat_delay_per_epoch(bool) — Geben Sie an, ob das Sieben für jede Epoche verzögert werden soll. Der Standardwert istFalse.
SageMaker intelligente Sortierung von Daten, Batch-Transformationsmodule
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Ein SageMaker intelligentes Sifting-Python-Modul, um zu definieren, wie eine Batch-Transformation durchgeführt wird. Auf diese Weise können Sie eine Batch-Transformationsklasse einrichten, die das Datenformat Ihrer Trainingsdaten in ein SiftingBatch Format konvertiert. SageMaker Mit Smart Sifting können Daten in diesem Format gesiebt und zu einem gesiebten Stapel zusammengefasst werden.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Eine Schnittstelle zur Definition eines Batch-Datentyps, der gesiebt und gesammelt werden kann.
class
smart_sifting.data_model.list_batch.ListBatch
Ein Modul zur Nachverfolgung eines Listenstapels, der gesichtet werden soll.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Ein Modul, um den Überblick über einen Tensorstapel zu behalten, der gesichtet werden soll.
SageMaker Modul zur Implementierung von Smart Sifting Loss
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Ein Wrapper-Modul zur Registrierung der SageMaker Smart-Sifting-Schnittstelle zur Verlustfunktion eines PyTorch basierten Modells.
SageMaker Wrapper-Modul für Smart Sifting Data Loader
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Ein Wrapper-Modul zur Registrierung der SageMaker Smart-Sifting-Schnittstelle zum Datenlader eines basierten Modells. PyTorch
Der Main Sifting Dataloader-Iterator sortiert Trainingsproben aus einem Dataloader heraus, der auf einer Sift-Konfiguration basiert.
Parameter
-
sift_config(Diktat oder ein Objekt) — Ein Objekt.RelativeProbabilisticSiftConfigRelativeProbabilisticSiftConfig -
orig_dataloader(ein PyTorch DataLoader Objekt) — Geben Sie das PyTorch Dataloader-Objekt an, das umschlossen werden soll. -
batch_transforms(einSiftingBatchTransformObjekt) — (Optional) Wenn Ihr Datenformat von der Standardtransformation der SageMaker Smart-Sifting-Bibliothek nicht unterstützt wird, müssen Sie mithilfe des Moduls eine Batch-Transformationsklasse erstellen.SiftingBatchTransformDieser Parameter wird verwendet, um die Batch-Transformationsklasse zu übergeben. Diese Klasse wird verwendetSiftingDataloader, um die Daten in ein Format zu konvertieren, das der SageMaker Smart-Sifting-Algorithmus akzeptieren kann. -
model(ein PyTorch Modellobjekt) — Das PyTorch Originalmodell -
loss_impl(eine Siebungsverlustfunktion vonsmart_sifting.loss.abstract_sift_loss_module.Loss) — Eine Siebungsverlustfunktion, die mit demLossModul konfiguriert ist und die Verlustfunktion umschließt. PyTorch -
log_batch_data(bool) — Geben Sie an, ob Batchdaten protokolliert werden sollen. Wenn diese Option auf gesetzt istTrue, protokolliert SageMaker Smart Sifting die Details der Batches, die aufbewahrt oder gesiebt werden. Wir empfehlen, dass Sie es nur für eine Pilotenausbildung einschalten. Wenn die Protokollierung aktiviert ist, werden die Proben geladen GPU und dorthin übertragenCPU, was zu Mehraufwand führt. Der Standardwert istFalse.
