Iperparametri dell'algoritmo Sequence-to-Sequence

Dimensioni del mini-batch per la discesa del gradiente.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 64

Lunghezza del fascio per la relativa ricerca. Utilizzato durante la preparazione per il calcolo di bleu e durante l'interferenza.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 5

Numero di istanze da cui prelevare il set di dati di convalida per decodificare e calcolare il punteggio bleu durante la preparazione. Imposta su -1 per utilizzare il set completo di convalida (se bleu viene scelto come optimized_metric).

Opzionale

Valori validi: numero intero

Valore predefinito: 0

Restituisce i bucket (di origine, di destinazione) fino a (max_seq_len_source, max_seq_len_target). Il lato più lungo dei dati utilizza fasi di bucket_width, mentre il lato più corto usa fasi ridotte dalla proporzione della lunghezza media tra destinazione/origine. Se un lato raggiunge la sua lunghezza massima prima dell'altro, la larghezza dei bucket extra su quel lato viene fissata su quel lato di max_len.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 10

Imposta su false per disattivare il bucketing, svolgere alla lunghezza massima.

Opzionale

Valori validi: true o false

Valore predefinito: true

Checkpoint e valutazione ogni x batch. Questo iperparametro di checkpoint viene passato all'algoritmo seq2seq per l'arresto anticipato e il recupero SageMaker del modello migliore. Il checkpoint dell'algoritmo viene eseguito localmente nel contenitore di addestramento dell'algoritmo e non è compatibile con il checkpointing. SageMaker L'algoritmo salva temporaneamente i checkpoint su un percorso locale e memorizza l'artefatto del modello migliore nel percorso di output del modello in S3 dopo l'interruzione del processo di addestramento.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 1000

Numero massimo del modello di checkpoint consentito per non migliorare in optimized_metric sul set di dati di convalida prima che la preparazione venga arrestata. Questo iperparametro di checkpoint viene passato all'algoritmo seq2seq dell'algoritmo per l' SageMakerarresto anticipato e il recupero del modello migliore. Il checkpoint dell'algoritmo viene eseguito localmente nel contenitore di addestramento dell'algoritmo e non è compatibile con il checkpointing. SageMaker L'algoritmo salva temporaneamente i checkpoint su un percorso locale e memorizza l'artefatto del modello migliore nel percorso di output del modello in S3 dopo l'interruzione del processo di addestramento.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 3

Ritagliare i valori di gradiente assoluto maggiori di questo. Impostare su negativo per disattivare.

Opzionale

Valori validi: float.

Valore predefinito: 1

Il tipo di attivazione cnn da utilizzare.

Opzionale

Valori validi: stringa. Uno tra glu, relu, softrelu, sigmoid o tanh.

Valore predefinito: glu

Probabilità di dropout tra layer convoluzionali.

Opzionale

Valori validi: Float. Intervallo in [0,1].

Valore predefinito: 0

Larghezza kernel per il decodificatore cnn.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 5

Larghezza kernel per il codificatore cnn.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 3

Numero di unità nascoste cnn per codificatore e decodificatore.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 512

Tipo di decodificatore.

Opzionale

Valori validi: stringa. rnn o cnn.

Valore predefinito: rnn

Probabilità di dropout per le integrazioni lato origine.

Opzionale

Valori validi: Float. Intervallo in [0,1].

Valore predefinito: 0

Probabilità di dropout per le integrazioni lato destinazione.

Opzionale

Valori validi: Float. Intervallo in [0,1].

Valore predefinito: 0

Tipo di codificatore. L'architettura rnn è basata sul meccanismo di attenzione di Bahdanau e altri e l'architettura cnn si basa su Gehring e altri

Opzionale

Valori validi: stringa. rnn o cnn.

Valore predefinito: rnn

Half life per la velocità di apprendimento in termini di numero di checkpoint per i pianificatori fixed_rate_*.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 10

Velocità di apprendimento iniziale.

Opzionale

Valori validi: float.

Valore predefinito: 0.0003

Funzione di perdita per l'apprendimento.

Opzionale

Valori validi: stringa. cross-entropy

Valore predefinito: cross-entropy

Tipo di pianificatore della velocità di apprendimento. plateau_reduce indica una riduzione della velocità di apprendimento quando optimized_metric su livelli fissi di validation_accuracy. inv_t indica il decadimento temporale inverso. learning_rate/(1+decay_rate*t)

Opzionale

Valori validi: stringa. Uno tra plateau_reduce, fixed_rate_inv_t o fixed_rate_inv_sqrt_t.

Valore predefinito: plateau_reduce

Numero massimo di aggiornamenti/batch da elaborare. -1 per infinito.

Opzionale

Valori validi: numero intero

Valore predefinito: -1

Numero massimo di epoch da trasmettere tramite i dati di preparazione prima che il fitting venga arrestato. La preparazione continua fino a questo numero di epoch anche se la precisione di convalida non migliora trasmettendo questo parametro. Ignorato se non trasmesso.

Opzionale

Valori validi: numeri interi positivi minori o uguali a max_num_epochs.

Valore predefinito: nessuno

Lunghezza massima per la sequenza di origine. Le sequenze più lunghe verranno troncate a questa lunghezza.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 100

Lunghezza massima per la sequenza di destinazione. Le sequenze più lunghe verranno troncate a questa lunghezza.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 100

Numero minimo di epoche (Unix epochs) che il training deve eseguire prima di essere arrestato dalle condizioni early_stopping.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 0

Costante di momento utilizzata per sgd. Non trasmettere questo parametro se usi adam o rmsprop.

Opzionale

Valori validi: float.

Valore predefinito: nessuno

Dimensioni di incorporamento per i token di origine.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 512

Dimensioni di integrazione per i token di destinazione.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 512

Numero di livelli per decodificatore rnn o cnn.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 1

Numero di livelli per codificatore rnn o cnn.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 1

Parametri per l'ottimizzazione con arresto precoce.

Opzionale

Valori validi: stringa. Uno tra perplexity, accuracy o bleu.

Valore predefinito: perplexity

Ottimizzatore da cui scegliere.

Opzionale

Valori validi: stringa. Uno tra adam, sgd o rmsprop.

Valore predefinito: adam

Fattore con cui moltiplicare la velocità di apprendimento (per plateau_reduce).

Opzionale

Valori validi: float.

Valore predefinito: 0.5

Per il pianificatore plateau_reduce, moltiplicare la velocità di apprendimento con il fattore di riduzione se optimized_metric non è migliorato per i vari checkpoint.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 3

Trasmissione dell'attenzione ai livelli superiori di rnn, come il documento Google NMT. Applicabile solo se viene utilizzato più di un layer.

Opzionale

Valori validi: booleani (true o false)

Valore predefinito: true

Numero di unità nascoste per i livelli di attenzione. Valore predefinito:rnn_num_hidden.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: rnn_num_hidden

Modello di attenzione per codificatori. mlp si riferisce a concat e bilinear si riferisce al concetto generale del documento di Luong e altri.

Opzionale

Valori validi: stringa. Uno tra dot, fixed, mlp o bilinear.

Valore predefinito: mlp

Tipo specifico di architettura rnn.

Opzionale

Valori validi: stringa. lstm o gru.

Valore predefinito: lstm

Modalità di inizializzazione degli stati del decodificatore rnn dai codificatori.

Opzionale

Valori validi: stringa. Uno tra last, avg o zero.

Valore predefinito: last

Primo livello rnn ad avere una connessione residua, applicabile solo se il numero di livelli nel codificatore o nel decodificatore è superiore a 1.

Opzionale

Valori validi: numeri interi positivi

Valore predefinito: 2

Numero di unità nascoste rnn per codificatore e decodificatore. Deve essere un multiplo di 2 in quanto per impostazione predefinita l'algoritmo utilizza la tecnica Long Term Short Term Memory (LSTM) bidirezionale.

Opzionale

Valori validi: numeri interi pari positivi

Valore predefinito: 1024

Aggiunta di connessione residua alla rete rnn nello stack. Il numero di layer deve essere superiore a 1.

Opzionale

Valori validi: booleani (true o false)

Valore predefinito: false

Probabilità di dropout per lo stato nascosto che combina il contesto con lo stato nascosto rnn nel decodificatore.

Opzionale

Valori validi: Float. Intervallo in [0,1].

Valore predefinito: 0

Parametri di tracciamento della preparazione sui dati di convalida.

Opzionale

Valori validi: stringa. perplexity o accuracy.

Valore predefinito: perplexity

Decadimento del peso costante.

Opzionale

Valori validi: float.

Valore predefinito: 0

Dimensionamento dell'inizializzazione del peso (per l'inizializzazione uniform e xavier).

Opzionale

Valori validi: float.

Valore predefinito: 2.34

Tipo di inizializzazione del peso.

Opzionale

Valori validi: stringa. uniform o xavier.

Valore predefinito: xavier

Tipo di fattore xavier.

Opzionale

Valori validi: stringa. Uno tra in, out o avg.

Valore predefinito: in