Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

SageMaker Kolam Hangat yang Dikelola AI

SageMaker Kumpulan hangat yang dikelola AI memungkinkan Anda mempertahankan dan menggunakan kembali infrastruktur yang disediakan setelah menyelesaikan pekerjaan pelatihan untuk mengurangi latensi untuk beban kerja berulang, seperti eksperimen berulang atau menjalankan banyak pekerjaan secara berurutan. Pekerjaan pelatihan berikutnya yang sesuai dengan parameter tertentu dijalankan pada infrastruktur kolam hangat yang dipertahankan, yang mempercepat waktu mulai dengan mengurangi waktu yang dihabiskan untuk penyediaan sumber daya.

Cara kerjanya

Untuk menggunakan kum SageMaker pulan hangat yang dikelola AI dan mengurangi latensi antara pekerjaan pelatihan berturut-turut yang serupa, buat pekerjaan pelatihan yang menentukan KeepAlivePeriodInSeconds nilai di dalamnyaResourceConfig. Nilai ini mewakili durasi waktu dalam detik untuk mempertahankan sumber daya yang dikonfigurasi dalam kumpulan hangat untuk pekerjaan pelatihan berikutnya. Jika Anda perlu menjalankan beberapa pekerjaan pelatihan menggunakan konfigurasi serupa, Anda dapat mengurangi latensi dan waktu yang dapat ditagih lebih lanjut dengan menggunakan direktori cache persisten khusus untuk menyimpan dan menggunakan kembali informasi Anda dalam pekerjaan yang berbeda.

Siklus hidup kolam hangat

Untuk informasi selengkapnya tentang opsi status kolam hangat, lihat WarmPoolStatus di Refer ensi SageMaker API Amazon.

Pembuatan kolam hangat

Jika pekerjaan pelatihan awal berhasil diselesaikan dan memiliki KeepAlivePeriodInSeconds nilai lebih besar dari 0, ini menciptakan kolam yang hangat. Jika Anda menghentikan pekerjaan pelatihan setelah cluster sudah diluncurkan, kolam hangat masih dipertahankan. Jika pekerjaan pelatihan gagal karena kesalahan algoritma atau klien, kolam hangat masih dipertahankan. Jika pekerjaan pelatihan gagal karena alasan lain yang mungkin membahayakan kesehatan cluster, maka kolam hangat tidak dibuat.

Untuk memverifikasi keberhasilan pembuatan kolam hangat, periksa status kolam hangat dari pekerjaan pelatihan Anda. Jika kolam hangat berhasil disediakan, status kolam hangat adalahAvailable. Jika kolam hangat gagal disediakan, status kolam hangat adalahTerminated.

Mencocokkan pekerjaan pelatihan

Agar kolam hangat bertahan, ia harus menemukan pekerjaan pelatihan yang cocok dalam waktu yang ditentukan dalam KeepAlivePeriodInSeconds nilai. Pekerjaan pelatihan berikutnya adalah kecocokan jika nilai-nilai berikut identik:

Semua nilai ini harus sama agar kolam hangat dapat dipindahkan ke pekerjaan pelatihan berikutnya untuk digunakan kembali.

Durasi kolam hangat maksimum

Maksimum KeepAlivePeriodInSeconds untuk satu pekerjaan pelatihan adalah 3600 detik (60 menit) dan jangka waktu maksimum cluster kolam hangat dapat terus menjalankan pekerjaan pelatihan berturut-turut adalah 28 hari.

Setiap pekerjaan pelatihan berikutnya juga harus menentukan KeepAlivePeriodInSeconds nilai. Ketika kolam hangat pindah ke pekerjaan pelatihan berikutnya, ia mewarisi KeepAlivePeriodInSeconds nilai baru yang ditentukan dalam pekerjaan pelatihan itu. ResourceConfig Dengan cara ini, Anda dapat menjaga kolam yang hangat bergerak dari pekerjaan pelatihan ke pekerjaan pelatihan selama maksimal 28 hari.

Jika tidak KeepAlivePeriodInSeconds ditentukan, maka kolam hangat berputar ke bawah setelah pekerjaan pelatihan selesai.

Menggunakan cache persisten

Saat Anda membuat kolam hangat, SageMaker AI memasang direktori khusus pada volume yang akan bertahan sepanjang siklus hidup kolam hangat. Direktori ini juga dapat digunakan untuk menyimpan informasi yang ingin Anda gunakan kembali di pekerjaan lain.

Menggunakan cache persisten dapat mengurangi latensi dan waktu yang dapat ditagih selama menggunakan kolam hangat saja untuk pekerjaan yang memerlukan hal berikut:

Misalnya, Anda dapat menghindari mengunduh dependensi Python yang sama pada proses berulang dengan menyiapkan direktori cache pip di dalam direktori cache persisten. Anda bertanggung jawab penuh untuk mengelola konten direktori ini. Berikut ini adalah contoh jenis informasi yang dapat Anda masukkan ke dalam cache persisten Anda untuk membantu mengurangi latensi dan waktu yang dapat ditagih.

Lokasi cache persisten adalah/opt/ml/sagemaker/warmpoolcache. Variabel lingkungan SAGEMAKER_MANAGED_WARMPOOL_CACHE_DIRECTORY menunjuk ke lokasi direktori cache persisten.

Contoh kode berikut menunjukkan cara mengatur kolam hangat dan menggunakan cache persisten untuk menyimpan dependensi pip Anda untuk digunakan dalam pekerjaan berikutnya. Pekerjaan selanjutnya harus berjalan dalam kerangka waktu yang diberikan oleh parameterkeep_alive_period_in_seconds.

from sagemaker.train import ModelTrainer
from sagemaker.train.configs import Compute, SourceCode
from sagemaker.core.helper.session_helper import Session, get_execution_role
from sagemaker.core import image_uris

# Creates a SageMaker session and gets execution role
session = Session()
role = get_execution_role()

# Retrieve the TensorFlow training image
training_image = image_uris.retrieve(
    framework="tensorflow", region=session.boto_region_name,
    version="2.2", py_version="py37",
    instance_type="ml.g4dn.xlarge", image_scope="training"
)

# Creates an example ModelTrainer with warm pool enabled
model_trainer = ModelTrainer(
    training_image=training_image,
    source_code=SourceCode(source_dir='code', entry_script='my-training-script.py'),
    role=role,
    compute=Compute(
        instance_type='ml.g4dn.xlarge',
        instance_count=1,
        volume_size_in_gb=250,
        keep_alive_period_in_seconds=1800,
    ),
    hyperparameters={
        "batch-size": "512",
        "epochs": "1",
        "learning-rate": "1e-3",
        "beta_1": "0.9",
        "beta_2": "0.999",
    },
    environment={"PIP_CACHE_DIR": "/opt/ml/sagemaker/warmpoolcache/pip"}
)

Dalam contoh kode sebelumnya, menggunakan parameter lingkungan mengekspor variabel lingkungan PIP_CACHE_DIRECTORY untuk menunjuk ke direktori/opt/ml/sagemaker/warmpoolcache/pip. Mengekspor variabel lingkungan ini akan mengubah tempat pip menyimpan cache-nya ke lokasi baru. Direktori apa pun, termasuk direktori bersarang, yang Anda buat di dalam direktori cache persisten akan tersedia untuk digunakan kembali selama proses pelatihan berikutnya. Dalam contoh kode sebelumnya, direktori yang pip disebut diubah menjadi lokasi default untuk menyimpan dependensi apa pun yang diinstal menggunakan pip.

Lokasi cache persisten juga dapat diakses dari dalam skrip pelatihan Python Anda menggunakan variabel lingkungan seperti yang ditunjukkan dalam contoh kode berikut.

import os
import shutil
if __name__ == '__main__':
    PERSISTED_DIR = os.environ["SAGEMAKER_MANAGED_WARMPOOL_CACHE_DIRECTORY"]

    # create a file to be persisted
    open(os.path.join(PERSISTED_DIR, "test.txt"), 'a').close()
    # create a directory to be persisted
    os.mkdir(os.path.join(PERSISTED_DIR, "test_dir"))

    # Move a file to be persisted
    shutil.move("path/of/your/file.txt", PERSISTED_DIR)

Penagihan

SageMaker Kolam hangat yang dikelola AI adalah sumber daya yang dapat ditagih. Ambil status kolam hangat untuk pekerjaan pelatihan Anda untuk memeriksa waktu yang dapat ditagih untuk kolam hangat Anda. Anda dapat memeriksa status kolam hangat baik melalui Menggunakan konsol Amazon SageMaker AI atau langsung melalui perintah DescribeTrainingJob API. Untuk informasi selengkapnya, lihat WarmPoolStatus di Refer ensi SageMaker API Amazon.

Pertimbangan-pertimbangan

Pertimbangkan item berikut saat menggunakan kolam hangat yang dikelola SageMaker AI.