Lavori di raccomandazione con Amazon SageMaker Inference Recommender - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Lavori di raccomandazione con Amazon SageMaker Inference Recommender

Amazon SageMaker Inference Recommender può fornire due tipi di consigli:

  1. Le raccomandazioni di inferenza (tipo di processo Default) eseguono una serie di test di carico sui tipi di istanze consigliati. È inoltre possibile eseguire il test di caricamento per un endpoint serverless. Devi solo fornire un pacchetto modello Amazon Resource Name (ARN) per avviare questo tipo di processo di raccomandazione. I processi di raccomandazione delle inferenze vengono completati entro 45 minuti.

  2. I consigli sugli endpoint (tipo di processo Advanced) sono basati su un test di carico personalizzato in cui si selezionano le istanze di ML desiderate o un endpoint serverless, si fornisce un modello di traffico personalizzato e si definiscono i requisiti di latenza e throughput basati sui propri requisiti di produzione. Il completamento di questo processo richiede in media 2 ore, a seconda della durata del processo impostata e del numero totale di configurazioni di inferenza testate.

Entrambi i tipi di consigli utilizzano lo stesso APIs per creare, descrivere e interrompere i lavori. L'output è un elenco di raccomandazioni sulla configurazione delle istanze con variabili di ambiente, costi, throughput e parametri di latenza associati. I job di raccomandazione forniscono anche un conteggio iniziale delle istanze, che è possibile utilizzare per configurare una politica di scalabilità automatica. Per distinguere tra i due tipi di job, quando crei un lavoro tramite la SageMaker console o ilAPIs, specifica Default se creare consigli preliminari sugli endpoint e Advanced per test di carico personalizzati e consigli sugli endpoint.

Nota

Non è necessario eseguire entrambi i tipi di processi di raccomandazione nel proprio flusso di lavoro. È possibile eseguire entrambe le operazioni indipendentemente dall'altra.

Il suggeritore di inferenza può anche fornire un elenco di istanze potenziali o i cinque principali tipi di istanze ottimizzati in termini di costi, throughput e latenza per l'implementazione dei modelli, unitamente a un punteggio di attendibilità. È possibile scegliere queste istanze quando si implementa il proprio modello. Il suggeritore di inferenza esegue automaticamente il benchmarking rispetto al modello per fornire le istanze potenziali. Poiché si tratta di raccomandazioni preliminari, consigliamo di eseguire ulteriori processi di raccomandazione delle istanze per ottenere risultati più accurati. Per visualizzare le istanze potenziali, vai alla pagina dei dettagli del SageMaker modello. Per ulteriori informazioni, consulta Ottieni immediatamente istanze potenziali.

Argomenti