Gunakan TensorBoard untuk men-debug dan menganalisis pekerjaan pelatihan di Amazon SageMaker

Amazon SageMaker with TensorBoard adalah kemampuan Amazon SageMaker yang membawa alat visualisasi TensorBoardke SageMaker, terintegrasi dengan SageMaker Pelatihan dan domain. Ini menyediakan opsi untuk mengelola AWS akun Anda dan pengguna yang termasuk dalam akun melalui SageMaker domain, untuk memberikan pengguna domain akses ke TensorBoard data dengan izin yang sesuai ke Amazon S3, dan membantu pengguna domain melakukan tugas debugging model menggunakan plugin visualisasi. TensorBoard SageMaker dengan TensorBoard diperluas dengan plugin SageMaker Data Manager, dengan mana pengguna domain dapat mengakses sejumlah pekerjaan pelatihan di satu tempat dalam TensorBoard aplikasi.

Untuk ilmuwan data

Pelatihan model besar dapat memiliki masalah ilmiah yang mengharuskan ilmuwan data untuk men-debug dan menyelesaikannya untuk meningkatkan konvergensi model dan menstabilkan proses penurunan gradien.

Saat Anda mengalami masalah pelatihan model, seperti kehilangan tidak konvergen, atau bobot dan gradien yang hilang atau meledak, Anda perlu mengakses data tensor untuk menyelam lebih dalam dan menganalisis parameter model, skalar, dan metrik khusus apa pun. Menggunakan SageMaker with TensorBoard, Anda dapat memvisualisasikan tensor keluaran model yang diekstraksi dari pekerjaan pelatihan. Saat Anda bereksperimen dengan model yang berbeda, beberapa latihan, dan model hiperparameter, Anda dapat memilih beberapa pekerjaan pelatihan TensorBoard dan membandingkannya di satu tempat.

Untuk administrator

Melalui halaman TensorBoard arahan di SageMaker konsol atau SageMaker domain, Anda dapat mengelola pengguna TensorBoard aplikasi jika Anda adalah administrator AWS akun atau SageMaker domain. Setiap pengguna domain dapat mengakses TensorBoard aplikasi mereka sendiri dengan izin yang diberikan. Sebagai administrator SageMaker domain dan pengguna domain, Anda dapat membuat dan menghapus TensorBoard aplikasi yang diberikan tingkat izin yang Anda miliki.

Kerangka kerja yang didukung dan Wilayah AWS

Fitur ini mendukung kerangka kerja pembelajaran mesin berikut dan Wilayah AWS.

Prasyarat

Daftar berikut menunjukkan prasyarat untuk mulai menggunakan dengan. SageMaker TensorBoard

Siapkan pekerjaan pelatihan dengan konfigurasi data TensorBoard keluaran

Pekerjaan pelatihan khas untuk pembelajaran mendalam SageMaker terdiri dari dua langkah utama: menyiapkan skrip pelatihan dan mengonfigurasi Peluncur pekerjaan SageMaker Pelatihan. Di bagian ini, Anda dapat memeriksa perubahan yang diperlukan untuk mengumpulkan data TensorBoard yang kompatibel dari SageMaker Pelatihan.

Langkah 1: Ubah skrip pelatihan Anda

Pastikan Anda menentukan tensor dan skalar keluaran mana yang akan dikumpulkan, dan ubah baris kode dalam skrip pelatihan Anda menggunakan salah satu alat berikut: TensorBoard X, TensorFlow Summary Writer, Summary Writer, atau PyTorch Debugger. SageMaker

Pastikan juga bahwa Anda menentukan jalur keluaran TensorBoard data sebagai direktori log (log_dir) untuk callback dalam wadah pelatihan.

Untuk informasi selengkapnya tentang callback per framework, lihat sumber daya berikut.

Langkah 2: Bangun peluncur SageMaker pelatihan dengan konfigurasi data TensorBoard

Gunakan sagemaker.debugger.TensorBoardOutputConfig saat mengonfigurasi estimator SageMaker kerangka kerja. Konfigurasi ini API memetakan bucket S3 yang Anda tentukan untuk menyimpan TensorBoard data dengan jalur lokal di container pelatihan (/opt/ml/output/tensorboard). Lewatkan objek modul ke tensorboard_output_config parameter kelas estimator. Cuplikan kode berikut menunjukkan contoh mempersiapkan TensorFlow estimator dengan parameter konfigurasi TensorBoard output.

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

from sagemaker.tensorflow import TensorFlow
from sagemaker.debugger import TensorBoardOutputConfig

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

estimator = TensorFlow(
    entry_point="train.py",
    source_dir="src",
    role=role,
    image_uri=image_uri,
    instance_count=1,
    instance_type="ml.c5.xlarge",
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)

Cara mengakses TensorBoard di SageMaker

Anda dapat mengakses TensorBoard dengan dua metode: secara terprogram menggunakan sagemaker.interactive_apps.tensorboard modul yang menghasilkan unsigned atau presignedURL, atau menggunakan TensorBoard landing page di konsol. SageMaker Setelah Anda membuka TensorBoard, SageMaker menjalankan TensorBoard plugin dan secara otomatis menemukan semua data output pekerjaan pelatihan dalam format file TensorBoard -kompatibel.

Buka TensorBoard menggunakan sagemaker.interactive_apps.tensorboard modul

sagemaker.interactive_apps.tensorboardModul ini menyediakan fungsi yang disebut get_app_url yang menghasilkan unsigned atau presigned URLs untuk membuka TensorBoard aplikasi di lingkungan apa pun di atau SageMaker Amazon. EC2 Ini untuk memberikan pengalaman terpadu bagi pengguna Studio Classic dan non-Studio Classic. Untuk lingkungan Studio, Anda dapat membuka TensorBoard dengan menjalankan get_app_url() fungsi apa adanya, atau Anda juga dapat menentukan nama pekerjaan untuk mulai melacak saat TensorBoard aplikasi terbuka. Untuk lingkungan non-Studio Classic, Anda dapat membuka TensorBoard dengan memberikan informasi domain dan profil pengguna Anda ke fungsi utilitas. Dengan fungsi ini, terlepas dari di mana atau bagaimana Anda menjalankan kode pelatihan dan meluncurkan pekerjaan pelatihan, Anda dapat langsung mengakses TensorBoard dengan menjalankan get_app_url fungsi di notebook atau terminal Jupyter Anda.

Opsi 1: Untuk SageMaker Studio Classic

Jika Anda menggunakan SageMaker Studio Classic, Anda dapat langsung membuka TensorBoard aplikasi atau mengambil unsigned URL dengan menjalankan get_app_url fungsi sebagai berikut. Karena Anda sudah berada dalam lingkungan Studio Classic dan masuk sebagai pengguna domain, buat get_app_url() unsigned URL karena tidak perlu mengautentikasi lagi.

Untuk membuka TensorBoard aplikasi

Kode berikut secara otomatis membuka TensorBoard aplikasi dari unsigned URL yang mengembalikan get_app_url() fungsi di browser web default lingkungan Anda.

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)

app.get_app_url(
    training_job_name="your-training_job_name" # Optional. Specify the job name to track a specific training job 
)

Untuk mengambil unsigned URL dan membuka aplikasi secara manual TensorBoard

Kode berikut mencetak unsigned URL yang dapat Anda salin ke browser web dan membuka TensorBoard aplikasi.

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)
print("Navigate to the following URL:")
print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        open_in_default_web_browser=False           # Set to False to print the URL to terminal.
    )
)

Perhatikan bahwa jika Anda menjalankan dua contoh kode sebelumnya di luar lingkungan SageMaker Studio Classic, fungsi akan mengembalikan a URL ke halaman TensorBoard landing di SageMaker konsol, karena ini tidak memiliki informasi login ke domain dan profil pengguna Anda. Untuk membuat presignedURL, lihat Opsi 2 di bagian berikut.

Opsi 2: Untuk lingkungan Klasik non-Studio

Jika Anda menggunakan lingkungan non-Studio Classic, seperti instans SageMaker Notebook atau AmazonEC2, dan ingin membuka TensorBoard langsung dari lingkungan tempat Anda berada, Anda perlu membuat URL presigned dengan domain dan informasi profil pengguna Anda. Presigned URL adalah URL yang masuk ke Amazon SageMaker Studio Classic saat URL sedang dibuat dengan domain dan profil pengguna Anda, dan oleh karena itu diberikan akses ke semua aplikasi domain dan file yang terkait dengan domain Anda. Untuk membuka TensorBoard melalui presignedURL, gunakan get_app_url fungsi dengan nama domain dan profil pengguna Anda sebagai berikut.

Perhatikan bahwa opsi ini mengharuskan pengguna domain untuk memiliki sagemaker:CreatePresignedDomainUrl izin. Tanpa izin, pengguna domain akan menerima kesalahan pengecualian.

print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,          # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}     # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
)

optional_create_presigned_url_kwargs={"ExpiresInSeconds": 1500}

Navigate to the following URL:
https://us-west-2.console.aws.amazon.com/sagemaker/home?region=us-west-2#/tensor-board-landing

Buka TensorBoard menggunakan get_app_url fungsi sebagai metode estimator kelas

Jika Anda sedang dalam proses menjalankan pekerjaan pelatihan menggunakan estimator kelas SageMaker Python SDK dan memiliki objek aktif estimator kelas, Anda juga dapat mengakses get_app_urlfungsi sebagai metode kelas kelas. estimator Buka TensorBoard aplikasi atau ambil unsigned URL dengan menjalankan get_app_url metode sebagai berikut. Metode get_app_url kelas menarik nama pekerjaan pelatihan dari estimator dan membuka TensorBoard aplikasi dengan pekerjaan yang ditentukan.

Opsi 1: Untuk SageMaker Studio Classic

Untuk membuka TensorBoard aplikasi

Kode berikut secara otomatis membuka TensorBoard aplikasi dari unsigned URL yang dikembalikan get_app_url() metode di browser web default lingkungan Anda.

estimator.get_app_url(
    app_type=SupportedInteractiveAppTypes.TENSORBOARD # Required.
)

Untuk mengambil unsigned URL dan membuka aplikasi secara manual TensorBoard

Kode berikut mencetak unsigned URL yang dapat Anda salin ke browser web dan membuka TensorBoard aplikasi.

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required.
        open_in_default_web_browser=False, # Optional. Set to False to print the URL to terminal.
    )
) 

Perhatikan bahwa jika Anda menjalankan dua contoh kode sebelumnya di luar lingkungan SageMaker Studio Classic, fungsi akan mengembalikan a URL ke halaman TensorBoard landing di SageMaker konsol, karena ini tidak memiliki informasi login ke domain dan profil pengguna Anda. Untuk membuat presignedURL, lihat Opsi 2 di bagian berikut.

Opsi 2: Untuk lingkungan Klasik non-Studio

Jika Anda menggunakan lingkungan non-Studio Classic, seperti instance SageMaker Notebook dan AmazonEC2, dan ingin membuat presigned URL untuk membuka TensorBoard aplikasi, gunakan get_app_url metode dengan informasi domain dan profil pengguna Anda sebagai berikut.

Perhatikan bahwa opsi ini mengharuskan pengguna domain untuk memiliki sagemaker:CreatePresignedDomainUrl izin. Tanpa izin, pengguna domain akan menerima kesalahan pengecualian.

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,            # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}       # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
) 

Buka TensorBoard melalui SageMaker konsol

Anda juga dapat menggunakan UI SageMaker konsol untuk membuka TensorBoard aplikasi. Ada dua opsi untuk membuka TensorBoard aplikasi melalui SageMaker konsol.

Opsi 1: Luncurkan TensorBoard dari halaman detail domain

Arahkan ke halaman detail domain

Prosedur berikut menunjukkan cara menavigasi ke halaman detail domain.

Luncurkan aplikasi profil pengguna

Prosedur berikut menunjukkan cara meluncurkan aplikasi Studio Classic yang dicakup ke profil pengguna.

Opsi 2: Luncurkan TensorBoard dari halaman TensorBoard arahan

Prosedur berikut menjelaskan cara meluncurkan TensorBoard aplikasi dari halaman TensorBoard arahan.

Tangkapan layar berikut menunjukkan lokasi TensorBoard di panel navigasi kiri SageMaker konsol dan SageMaker dengan halaman TensorBoard arahan di panel utama.

Mengakses dan memvisualisasikan data keluaran pelatihan di TensorBoard

Anda dapat melakukan analisis online atau offline dengan memuat tensor keluaran yang dikumpulkan dari bucket S3 yang dipasangkan dengan pekerjaan pelatihan selama atau setelah pelatihan.

Saat Anda membuka TensorBoard aplikasi, TensorBoard buka dengan tab Manajer SageMaker Data. Tangkapan layar berikut menunjukkan tampilan penuh tab Pengelola SageMaker Data dalam TensorBoard aplikasi.

Di tab Pengelola SageMaker Data, Anda dapat memilih pekerjaan pelatihan apa pun dan data keluaran pelatihan TensorBoard yang kompatibel dengan beban dari Amazon S3.

Jelajahi data keluaran pelatihan yang divisualisasikan di TensorBoard

Di tab grafis, Anda dapat melihat daftar pekerjaan pelatihan yang dimuat di panel kiri. Anda juga dapat menggunakan kotak centang pekerjaan pelatihan untuk menampilkan atau menyembunyikan visualisasi. Plugin TensorBoard dinamis diaktifkan secara dinamis tergantung pada bagaimana Anda telah mengatur skrip pelatihan Anda untuk menyertakan penulis ringkasan dan meneruskan panggilan balik untuk koleksi tensor dan skalar, dan oleh karena itu tab grafis juga muncul secara dinamis. Tangkapan layar berikut menunjukkan contoh tampilan setiap tab dengan visualisasi dua pekerjaan pelatihan yang mengumpulkan metrik untuk plugin deret waktu, skalar, grafik, distribusi, dan histogram.

Tampilan TIME SERIES tab

Tampilan SCALARS tab

Tampilan GRAPHS tab

Tampilan DISTRIBUTIONS tab

Tampilan HISTOGRAMS tab

Hapus aplikasi yang tidak digunakan TensorBoard

Setelah Anda selesai memantau dan bereksperimen dengan pekerjaan di TensorBoard, matikan TensorBoard aplikasi.

Pertimbangan

Pertimbangkan hal berikut saat menggunakan SageMaker dengan TensorBoard.