Come funziona EI

Gli acceleratori Amazon Elastic Inference sono dispositivi collegati alla rete che interagiscono con SageMaker le istanze dell'endpoint per accelerare le chiamate di inferenza. Elastic Inference accelera l'inferenza consentendoti di collegare GPU frazionarie a qualsiasi istanza. SageMaker Puoi selezionare l'istanza client per eseguire l'applicazione e collegare un acceleratore Elastic Inference per utilizzare la corretta quantità di accelerazione GPU per le esigenze di inferenza. Elastic Inference consente di ridurre i costi quando non utilizzi completamente l'istanza della GPU per l'inferenza. Ti consigliamo di provare Elastic Inference con il modello utilizzando diverse istanze CPU e dimensioni dell'acceleratore.

I seguenti tipi di acceleratori EI sono disponibili. Puoi configurare le istanze endpoint o notebook con qualsiasi tipo di acceleratore EI.

Nella tabella, il throughput in teraflop (TFLOP) viene elencato sia per le operazioni a virgola mobile a precisione singola (F32) che per quelle a virgola mobile a precisione dimezzata (F16). Viene riportata anche la quantità di memoria in GB.