Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
SageMaker riferimento a Python smart sifting SDK
Questa pagina fornisce un riferimento ai moduli Python necessari per applicare lo SageMaker smart sifting allo script di addestramento.
SageMaker moduli di configurazione smart sifting
class
smart_sifting.sift_config.sift_configs.RelativeProbabilisticSiftConfig()
La classe di SageMaker configurazione smart sifting.
Parametri
-
beta_value(float) — Un valore beta (costante). Viene utilizzato per calcolare la probabilità di selezionare un campione per l'addestramento in base al percentile della perdita nella cronologia dei valori di perdita. Abbassando il valore beta si ottiene una percentuale inferiore di dati setacciati, mentre aumentandolo si ottiene una percentuale maggiore di dati setacciati. Non esiste un valore minimo o massimo per il valore beta, a parte il fatto che deve essere un valore positivo. La seguente tabella di riferimento fornisce informazioni sui tassi di setacciamento rispetto a.beta_valuebeta_valuePercentuale di dati conservati (%) Percentuale di dati eliminati (%) 0.1 90,91 9,01 0.25 80 20 0,5 66,67 33,33 1 50 50 2 33,33 66,67 3 25 75 10 9,09 90,92 100 0,99 99,01 -
loss_history_length(int) — Il numero di perdite di allenamento precedenti da memorizzare per il campionamento basato sulla perdita di soglia relativa. -
loss_based_sift_config(dict o unLossConfigoggetto) — Specificare unLossConfigoggetto che restituisca la configurazione dell'interfaccia SageMaker smart sifting Loss.
class
smart_sifting.sift_config.sift_configs.LossConfig()
La classe di configurazione per il loss_based_sift_config parametro della classe. RelativeProbabilisticSiftConfig
Parametri
-
sift_config(dict o aSiftingBaseConfigobject) — Specificate unSiftingBaseConfigoggetto che restituisce un dizionario di configurazione di base di Sifting.
class
smart_sifting.sift_config.sift_configs.SiftingBaseConfig()
La classe di configurazione per il parametro di. sift_config LossConfig
Parametri
-
sift_delay(int) — Il numero di fasi di allenamento da attendere prima di iniziare a setacciare. Si consiglia di iniziare a setacciare dopo che tutti i livelli del modello hanno una visione sufficiente dei dati di addestramento. Il valore predefinito è1000. -
repeat_delay_per_epoch(bool) — Specificate se ritardare il setacciamento a ogni epoca. Il valore predefinito èFalse.
SageMaker moduli di trasformazione in batch di dati smart sifting
class
smart_sifting.data_model.data_model_interface.SiftingBatchTransform
Un modulo Python SageMaker intelligente per definire come eseguire la trasformazione in batch. Usando questo, puoi impostare una classe di trasformazione in batch che converte il formato dei dati di addestramento in formato. SiftingBatch SageMaker smart sifting può setacciare e accumulare dati in questo formato in un batch setacciato.
class
smart_sifting.data_model.data_model_interface.SiftingBatch
Un'interfaccia per definire un tipo di dati in batch che può essere setacciato e accumulato.
class
smart_sifting.data_model.list_batch.ListBatch
Un modulo per tenere traccia di un batch di elenchi da setacciare.
class
smart_sifting.data_model.tensor_batch.TensorBatch
Un modulo per tenere traccia di un batch di tensori da setacciare.
SageMaker modulo di implementazione smart sifting loss
class
smart_sifting.loss.abstract_sift_loss_module.Loss
Un modulo wrapper per registrare l'interfaccia SageMaker smart sifting sulla funzione di perdita di un modello basato. PyTorch
SageMaker modulo wrapper smart sifting data loader
class
smart_sifting.dataloader.sift_dataloader.SiftingDataloader
Un modulo wrapper per la registrazione dell'interfaccia SageMaker smart sifting nel caricatore di dati di un modello basato. PyTorch
L'iteratore Main Sifting Dataloader separa i campioni di addestramento da un dataloader in base a una configurazione sift.
Parametri
-
sift_config(dict o un oggetto) — Un oggetto.RelativeProbabilisticSiftConfigRelativeProbabilisticSiftConfig -
orig_dataloader(un PyTorch DataLoader oggetto) — Specificate l'oggetto PyTorch Dataloader da avvolgere. -
batch_transforms(unSiftingBatchTransformoggetto) — (Facoltativo) Se il formato dei dati non è supportato dalla trasformazione predefinita della libreria SageMaker smart sifting, è necessario creare una classe di trasformazione batch utilizzando il modulo.SiftingBatchTransformQuesto parametro viene utilizzato per passare la classe di trasformazione batch. Questa classe viene utilizzata perSiftingDataloaderconvertire i dati in un formato che l'algoritmo di SageMaker smart sifting può accettare. -
model(un oggetto PyTorch modello) — Il modello originale PyTorch -
loss_impl(una funzione di perdita di setacciamento dismart_sifting.loss.abstract_sift_loss_module.Loss) — Una funzione di perdita di setacciamento configurata con ilLossmodulo e che include la funzione di perdita. PyTorch -
log_batch_data(bool) — Specificare se registrare i dati del batch. Se impostato suTrue, SageMaker smart sifting registra i dettagli dei batch conservati o setacciati. Ti consigliamo di attivarlo solo per un corso di addestramento per piloti. Quando la registrazione è attiva, i campioni vengono caricati GPU e trasferiti suCPU, il che comporta un sovraccarico. Il valore predefinito èFalse.
