Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Incorporamenti del codificatore per Object2Vec
La pagina seguente elenca i formati di richiesta di input e output di risposta per ottenere l'inferenza di incorporamento dell'encoder dal modello Amazon SageMaker Object2Vec.
GPUottimizzazione: Encoder Embeddings
L'incorporamento è una mappatura da oggetti discreti, come le parole, a vettori di numeri reali.
A causa della scarsità di GPU memoria, è possibile specificare la variabile di INFERENCE_PREFERRED_MODE
ambiente per ottimizzare il caricamento della rete di inferenza Formati dei dati per l'inferenza Object2Vec o dell'encoder che incorpora l'encoder. GPU Se la maggior parte dell'inferenza riguarda aspetti di encoder embedding, specificareINFERENCE_PREFERRED_MODE=embedding
. Di seguito è riportato un esempio di utilizzo di trasformazione in batch usando 4 istanze di p3.2xlarge ottimizzate per l'inferenza di encoder embedding:
transformer = o2v.transformer(instance_count=4, instance_type="ml.p2.xlarge", max_concurrent_transforms=2, max_payload=1, # 1MB strategy='MultiRecord', env={'INFERENCE_PREFERRED_MODE': 'embedding'}, # only useful with GPU output_path=output_s3_path)
Input: Encoder Embedding
Tipo di contenuto: application/json; infer_max_seqlens=< - >, < - > FWD LENGTH BCK LENGTH
Dove < FWD - LENGTH > e < BCK - LENGTH > sono numeri interi nell'intervallo [1.5000] e definiscono le lunghezze massime di sequenza per l'encoder avanti e indietro.
{ "instances" : [ {"in0": [6, 17, 606, 19, 53, 67, 52, 12, 5, 10, 15, 10178, 7, 33, 652, 80, 15, 69, 821, 4]}, {"in0": [22, 1016, 32, 13, 25, 11, 5, 64, 573, 45, 5, 80, 15, 67, 21, 7, 9, 107, 4]}, {"in0": [774, 14, 21, 206]} ] }
Tipo di contenuto: application/jsonlines; infer_max_seqlens=< - >, < - > FWD LENGTH BCK LENGTH
Dove < FWD - LENGTH > e < BCK - LENGTH > sono numeri interi nell'intervallo [1.5000] e definiscono le lunghezze massime di sequenza per l'encoder avanti e indietro.
{"in0": [6, 17, 606, 19, 53, 67, 52, 12, 5, 10, 15, 10178, 7, 33, 652, 80, 15, 69, 821, 4]} {"in0": [22, 1016, 32, 13, 25, 11, 5, 64, 573, 45, 5, 80, 15, 67, 21, 7, 9, 107, 4]} {"in0": [774, 14, 21, 206]}
In entrambi questi formati, si specifica un solo tipo di input, “in0”
o “in1.”
Il servizio di inferenza richiama il codificatore corrispondente e genera gli incorporamenti per ciascuna istanza.
Output: Encoder Embedding
Content-type: application/json
{ "predictions": [ {"embeddings":[0.057368703186511,0.030703511089086,0.099890425801277,0.063688032329082,0.026327300816774,0.003637571120634,0.021305780857801,0.004316598642617,0.0,0.003397724591195,0.0,0.000378780066967,0.0,0.0,0.0,0.007419463712722]}, {"embeddings":[0.150190666317939,0.05145975202322,0.098204270005226,0.064249359071254,0.056249320507049,0.01513972133398,0.047553978860378,0.0,0.0,0.011533712036907,0.011472506448626,0.010696629062294,0.0,0.0,0.0,0.008508535102009]} ] }
Content-type: application/jsonlines
{"embeddings":[0.057368703186511,0.030703511089086,0.099890425801277,0.063688032329082,0.026327300816774,0.003637571120634,0.021305780857801,0.004316598642617,0.0,0.003397724591195,0.0,0.000378780066967,0.0,0.0,0.0,0.007419463712722]} {"embeddings":[0.150190666317939,0.05145975202322,0.098204270005226,0.064249359071254,0.056249320507049,0.01513972133398,0.047553978860378,0.0,0.0,0.011533712036907,0.011472506448626,0.010696629062294,0.0,0.0,0.0,0.008508535102009]}
La lunghezza del vettore degli incorporamenti emessi dal servizio di inferenza è uguale al valore di uno degli iperparametri che specifichi in fase di addestramento: enc0_token_embedding_dim
, enc1_token_embedding_dim
o enc_dim
.