Fehlerbehebung

SAGEMAKER_TFS_INSTANCE_COUNT

Bei TensorFlow basierten Modellen ist die tensorflow_model_server Binärdatei die operative Komponente, die dafür verantwortlich ist, ein Modell in den Speicher zu laden, Eingaben anhand eines Modelldiagramms auszuführen und Ausgaben abzuleiten. In der Regel wird eine einzelne Instance dieser Binärdatei gestartet, um Modelle auf einem Endpunkt bereitzustellen. Diese Binärdatei hat intern mehrere Threads und erzeugt mehrere Threads, um auf eine Inferenzanforderung zu antworten. In bestimmten Fällen kann es hilfreich sein, diesen Parameter zu erhöhen, wenn Sie feststellen, dass der CPU ordnungsgemäß ausgelastet ist (über 30% genutzt), der Speicher jedoch nicht ausgelastet ist (weniger als 10% Auslastung). Eine Erhöhung der Anzahl der tensorflow_model_servers zur Verfügung stehenden Server erhöht in der Regel den Durchsatz eines Endpunkts.

SAGEMAKER_TFS_FRACTIONAL_GPU_MEM_MARGIN

Dieser Parameter bestimmt den Anteil des verfügbaren GPU Speichers für die Initialisierung von CUDA DNN /cu und anderen Bibliotheken. GPU 0.2bedeutet, dass 20% des verfügbaren GPU Speichers für die Initialisierung von CUDA /cu DNN und anderen GPU Bibliotheken reserviert sind und 80% des verfügbaren GPU Speichers gleichmäßig auf die TF-Prozesse verteilt werden. GPUSpeicher ist vorab zugewiesen, sofern die allow_growth Option nicht aktiviert ist.

SAGEMAKER_TFS_INTER_OP_PARALLELISM

Dies ist auf die inter_op_parallelism_threads Variable zurückzuführen. Diese Variable bestimmt die Anzahl der Threads, die von unabhängigen, nicht blockierenden Vorgängen verwendet werden. 0 bedeutet, dass das System eine passende Zahl auswählt.

SAGEMAKER_TFS_INTRA_OP_PARALLELISM

Dies ist auf die intra_op_parallelism_threads Variable zurückzuführen. Dies bestimmt die Anzahl der Threads, die für bestimmte Operationen wie Matrixmultiplikation und Reduktionen zur Beschleunigung verwendet werden können. Ein Wert von 0 bedeutet, dass das System eine geeignete Zahl auswählt.

SAGEMAKER_GUNICORN_WORKERS

Dies bestimmt die Anzahl der Auftragnehmer-Prozesse, die Gunicorn zur Bearbeitung von Anfragen starten soll. Dieser Wert wird in Kombination mit anderen Parametern verwendet, um einen Satz abzuleiten, der den Inferenzdurchsatz maximiert. Darüber hinaus SAGEMAKER_GUNICORN_WORKER_CLASS bestimmt der, welche Art von Arbeitskräften hervorgebracht wurden, typischerweise async oder gevent.

SAGEMAKER_GUNICORN_WORKER_CLASS

Dies bestimmt die Anzahl der Auftragnehmer-Prozesse, die Gunicorn zur Bearbeitung von Anfragen starten soll. Dieser Wert wird in Kombination mit anderen Parametern verwendet, um einen Satz abzuleiten, der den Inferenzdurchsatz maximiert. Darüber hinaus SAGEMAKER_GUNICORN_WORKER_CLASS bestimmt der, welche Art von Arbeitskräften hervorgebracht wurden, typischerweise async oder gevent.

OMP_NUM_THREADS

Python verwendet intern OpenMP für die Implementierung von Multithreading innerhalb von Prozessen. In der Regel werden Threads erzeugt, die der Anzahl der CPU Kerne entsprechen. Wenn ein bestimmter Prozess jedoch zusätzlich zu Simultaneous Multi Threading (SMT) implementiert wird, wie z. B. bei Intel HypeThreading, kann es sein, dass er einen bestimmten Kern überlastet, indem er doppelt so viele Threads erzeugt wie die Anzahl der tatsächlichen Kerne. CPU In bestimmten Fällen kann eine Python-Binärdatei bis zu viermal so viele Threads wie verfügbare Prozessorkerne erzeugen. Eine ideale Einstellung für diesen Parameter, wenn Sie die Anzahl der verfügbaren Kerne mithilfe von Worker-Threads überlastet haben, ist daher1, oder die Hälfte der Anzahl der CPU Kerne auf einem bei eingeschaltetem System. CPU SMT

TF_DISABLE_MKL

TF_DISABLE_POOL_ALLOCATOR

In einigen Fällen MKL kann das Ausschalten die Inferenz beschleunigen, wenn TF_DISABLE_MKL und auf eingestellt TF_DISABLE_POOL_ALLOCATOR sind. 1

SAGEMAKER_TS_MAX_BATCH_DELAY

Dies ist die maximale Batchverzögerungszeit, auf TorchServe deren Empfang gewartet wird.

SAGEMAKER_TS_BATCH_SIZE

Wenn TorchServe es nicht die in batch_size vor Ablauf des Timers angegebene Anzahl von Anfragen empfängt, sendet es die empfangenen Anfragen an den Model-Handler.

SAGEMAKER_TS_MIN_WORKERS

Die Mindestanzahl von Arbeitskräften, auf TorchServe die herunterskaliert werden darf.

SAGEMAKER_TS_MAX_WORKERS

Die maximale Anzahl von Mitarbeitern, auf die TorchServe eine Skalierung erfolgen darf.

SAGEMAKER_TS_RESPONSE_TIMEOUT

Die Zeitverzögerung, nach deren Ablauf die Inferenz abläuft, wenn keine Antwort erfolgt.

SAGEMAKER_TS_MAX_REQUEST_SIZE

Die maximale Nutzlastgröße für TorchServe.

SAGEMAKER_TS_MAX_RESPONSE_SIZE

Die maximale Antwortgröße für TorchServe.

job_queue_size

Dieser Parameter ist nützlich, wenn Sie ein Szenario haben, in dem der Typ der Nutzlast für die Inferenzanforderung sehr groß ist und aufgrund der größeren Nutzlast möglicherweise ein höherer Heap-Speicherverbrauch für den Heap-Speicher besteht, JVM in dem diese Warteschlange verwaltet wird. Im Idealfall sollten Sie die Heap-Speicheranforderungen JVM niedriger halten und Python-Workern ermöglichen, mehr Speicher für die eigentliche Modellbereitstellung zuzuweisen. JVMdient nur dazu, die HTTP Anfragen zu empfangen, sie in die Warteschlange zu stellen und sie zur Inferenz an die Python-basierten Worker weiterzuleiten. Wenn Sie den erhöhenjob_queue_size, erhöhen Sie möglicherweise den Heap-Speicherverbrauch des JVM und nehmen dem Host letztendlich Speicher weg, der von Python-Workern hätte verwendet werden können. Lassen Sie daher auch bei der Optimierung dieses Parameters Vorsicht walten.

default_workers_per_model

Dieser Parameter ist für die Backend-Modellbereitstellung vorgesehen und kann für die Optimierung nützlich sein, da dies die kritische Komponente der gesamten Modellbereitstellung ist, auf deren Grundlage die Python-Prozesse Threads für jedes Modell erzeugen. Wenn diese Komponente langsamer (oder nicht richtig abgestimmt) ist, ist das Frontend-Tuning möglicherweise nicht effektiv.