Pemecahan Masalah

SAGEMAKER_TFS_INSTANCE_COUNT

Untuk model TensorFlow berbasis, tensorflow_model_server biner adalah bagian operasional yang bertanggung jawab untuk memuat model dalam memori, menjalankan input terhadap grafik model, dan menurunkan output. Biasanya, satu contoh biner ini diluncurkan untuk melayani model di titik akhir. Biner ini secara internal multi-threaded dan memunculkan beberapa utas untuk menanggapi permintaan inferensi. Dalam kasus tertentu, jika Anda mengamati bahwa CPU digunakan dengan baik (lebih dari 30% digunakan) tetapi memori kurang dimanfaatkan (kurang dari 10% penggunaan), meningkatkan parameter ini dapat membantu. Meningkatkan jumlah yang tensorflow_model_servers tersedia untuk melayani biasanya meningkatkan throughput dari titik akhir.

SAGEMAKER_TFS_FRACTIONAL_GPU_MEM_MARGIN

Parameter ini mengatur fraksi memori GPU yang tersedia untuk menginisialisasi CUDA/cuDNN dan pustaka GPU lainnya. 0.2berarti 20% dari memori GPU yang tersedia dicadangkan untuk menginisialisasi CUDA/cuDNN dan pustaka GPU lainnya, dan 80% dari memori GPU yang tersedia dialokasikan secara merata di seluruh proses TF. Memori GPU sudah dialokasikan sebelumnya kecuali allow_growth opsi diaktifkan.

SAGEMAKER_TFS_INTER_OP_PARALLELISM

Ini mengikat kembali ke inter_op_parallelism_threads variabel. Variabel ini menentukan jumlah utas yang digunakan oleh operasi non-pemblokiran independen. 0berarti bahwa sistem memilih nomor yang sesuai.

SAGEMAKER_TFS_INTRA_OP_PARALLELISM

Ini mengikat kembali ke intra_op_parallelism_threads variabel. Ini menentukan jumlah utas yang dapat digunakan untuk operasi tertentu seperti perkalian matriks dan pengurangan untuk percepatan. Nilai 0 berarti bahwa sistem memilih nomor yang sesuai.

SAGEMAKER_GUNICORN_WORKERS

Ini mengatur jumlah proses pekerja yang diminta Gunicorn untuk menelurkan untuk menangani permintaan. Nilai ini digunakan dalam kombinasi dengan parameter lain untuk mendapatkan satu set yang memaksimalkan throughput inferensi. Selain itu, SAGEMAKER_GUNICORN_WORKER_CLASS mengatur jenis pekerja yang melahirkan, biasanya atau. async gevent

SAGEMAKER_GUNICORN_WORKER_CLASS

Ini mengatur jumlah proses pekerja yang diminta Gunicorn untuk menelurkan untuk menangani permintaan. Nilai ini digunakan dalam kombinasi dengan parameter lain untuk mendapatkan satu set yang memaksimalkan throughput inferensi. Selain itu, SAGEMAKER_GUNICORN_WORKER_CLASS mengatur jenis pekerja yang melahirkan, biasanya atau. async gevent

OMP_NUM_THREADS

Python secara internal menggunakan OpenMP untuk mengimplementasikan multithreading dalam proses. Biasanya, thread yang setara dengan jumlah core CPU muncul. Tetapi ketika diimplementasikan di atas Simultaneous Multi Threading (SMT), seperti Intel HypeThreading, proses tertentu mungkin kelebihan langganan inti tertentu dengan menelurkan utas dua kali lebih banyak daripada jumlah inti CPU yang sebenarnya. Dalam kasus tertentu, biner Python mungkin berakhir dengan pemijahan hingga empat kali lebih banyak utas daripada inti prosesor yang tersedia. Oleh karena itu, pengaturan ideal untuk parameter ini, jika Anda memiliki kelebihan langganan core yang tersedia menggunakan thread pekerja, adalah1, atau setengah jumlah core CPU pada CPU dengan SMT dihidupkan.

TF_DISABLE_MKL

TF_DISABLE_POOL_ALLOCATOR

Dalam beberapa kasus, mematikan MKL dapat mempercepat inferensi jika TF_DISABLE_MKL dan TF_DISABLE_POOL_ALLOCATOR disetel ke. 1

SAGEMAKER_TS_MAX_BATCH_DELAY

Ini adalah waktu tunda batch maksimum yang TorchServe menunggu untuk diterima.

SAGEMAKER_TS_BATCH_SIZE

Jika TorchServe tidak menerima jumlah permintaan yang ditentukan batch_size sebelum timer habis, itu akan mengirimkan permintaan yang diterima ke handler model.

SAGEMAKER_TS_MIN_WORKERS

Jumlah minimum pekerja yang TorchServe diizinkan untuk menurunkan skala.

SAGEMAKER_TS_MAX_WORKERS

Jumlah maksimum pekerja yang TorchServe diizinkan untuk ditingkatkan.

SAGEMAKER_TS_RESPONSE_TIMEOUT

Waktu tunda, setelah itu waktu inferensi habis tanpa adanya respons.

SAGEMAKER_TS_MAX_REQUEST_SIZE

Ukuran muatan maksimum untuk TorchServe.

SAGEMAKER_TS_MAX_RESPONSE_SIZE

Ukuran respons maksimum untuk TorchServe.

job_queue_size

Parameter ini berguna untuk disetel ketika Anda memiliki skenario di mana jenis payload permintaan inferensi besar, dan karena ukuran payload yang lebih besar, Anda mungkin memiliki konsumsi memori heap yang lebih tinggi dari JVM di mana antrian ini sedang dipertahankan. Idealnya Anda mungkin ingin menjaga persyaratan memori heap JVM lebih rendah dan memungkinkan pekerja Python membagikan lebih banyak memori untuk penyajian model yang sebenarnya. JVM hanya untuk menerima permintaan HTTP, mengantri, dan mengirimkannya ke pekerja berbasis Python untuk inferensi. Jika Anda meningkatkanjob_queue_size, Anda mungkin akhirnya meningkatkan konsumsi memori heap JVM dan akhirnya mengambil memori dari host yang bisa digunakan oleh pekerja Python. Karena itu, berhati-hatilah saat menyetel parameter ini juga.

default_workers_per_model

Parameter ini untuk penyajian model backend dan mungkin berharga untuk disetel karena ini adalah komponen penting dari keseluruhan penyajian model, berdasarkan proses Python menelurkan utas untuk setiap Model. Jika komponen ini lebih lambat (atau tidak disetel dengan benar), penyetelan front-end mungkin tidak efektif.