Risolvere i problemi relativi agli endpoint multi-container - Amazon SageMaker

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Risolvere i problemi relativi agli endpoint multi-container

Le sezioni seguenti possono aiutarti a risolvere gli errori con endpoint multi-container.

Errori di controllo dell'integrità

Con più contenitori, la memoria degli endpoint è sottoposta a una maggiore pressione durante la creazione degli endpoint. CPU In particolare, i parametri MemoryUtilization e CPUUtilization sono più elevati rispetto agli endpoint a container singolo, poiché la pressione di utilizzo è proporzionale al numero di container. Per questo motivo, ti consigliamo di scegliere tipi di istanza con memoria sufficiente e di CPU assicurarti che sull'istanza ci sia abbastanza memoria per caricare tutti i modelli (la stessa guida si applica all'implementazione di una pipeline di inferenza). In caso contrario, la creazione dell'endpoint potrebbe fallire con un errore del tipo XXX did not pass the ping health check.

Manca l'etichetta =true Docker accept-bind-to-port

I container in endpoint multi-container restano in ascolto sulla porta specificata nella variabile di ambiente SAGEMAKER_BIND_TO_PORT anziché la porta 8080. Quando un contenitore viene eseguito in un endpoint con più contenitori, fornisce SageMaker automaticamente questa variabile di ambiente al contenitore. Se questa variabile di ambiente non è presente, i container utilizzano la porta 8080 per impostazione predefinita. Per indicare che il container soddisfa questo requisito, utilizza il comando seguente per aggiungere un'etichetta al dockerfile:

LABEL com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true

Altrimenti, verrà visualizzato un messaggio di errore come Your Ecr Image XXX does not contain required com.amazonaws.sagemaker.capabilities.accept-bind-to-port=true Docker label(s).

Se il container deve essere in ascolto su una seconda porta, scegli una porta nell'intervallo specificato dalla variabile di ambiente SAGEMAKER_SAFE_PORT_RANGE. Specificate il valore come intervallo inclusivo nel formato XXXX-YYYY, dove XXXX e YYYY sono numeri interi a più cifre. SageMaker fornisce questo valore automaticamente quando si esegue il contenitore in un endpoint con più contenitori.