View a markdown version of this page

Pemantauan HealthOmics dengan CloudWatch Log - AWS HealthOmics
Jenis log untuk alur HealthOmics kerjaMasuk CloudWatchLog di Amazon S3CloudWatch Log Interaktif di CLIMeng CloudWatch akses Log dari konsol

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemantauan HealthOmics dengan CloudWatch Log

HealthOmics menghasilkan berbagai log untuk membantu Anda memahami dan memecahkan masalah proses Anda. Log tersedia di dua tempat: CloudWatch dan Amazon S3.

Secara default, proses mengaktifkan logging. Anda dapat secara opsional mematikan logging untuk menjalankan dengan meny LogLevel = OFF etel startrun permintaan.

catatan

Untuk pembaruan layanan, konfigurasikan dan pantau Dasbor Kesehatan Pri badi Anda. Untuk informasi selengkapnya tentang cara mengelola dasbor, lihat Mem ulai dengan Dasbor Kesehatan AWS Anda.

Jenis log untuk alur HealthOmics kerja

HealthOmics menyediakan jenis log berikut untuk alur kerja:

  • Log mesin — Log mesin seperti .nextflow.log dan workflow.log diproduksi oleh mesin alur kerja yang mendasarinya (Nextflow, WDL, dan CWL). Log ini dapat membantu Anda memecahkan masalah definisi alur kerja.

  • Jalankan log manifes — Log ini memberikan informasi tingkat tinggi tentang setiap tugas yang dijalankan, seperti status tugas, waktu mulai, waktu berhenti, dan alasan gagal (jika tugas gagal).

    Jalankan log manifes juga melaporkan statistik pemanfaatan sumber daya yang dapat membantu untuk memahami peluang pengoptimalan sumber daya. Statistik ini meliputi:

    • CPUSRata-rata

    • CPUSMaksimum

    • CPUDilestarikan

    • GPUSDilestarikan

    • memori AverageGi B

    • memori MaximumGi B

    • memori ReservedGi B

    • BerjalanSeconds

    Metrik Jalankan juga tersedia hampir secara real time melalui CloudWatch OpenTelemetry metrik. Untuk informasi selengkapnya, lihat Menjalankan metrik untuk Alur Kerja Pribadi.

  • Jalankan log — Jalankan log memberikan status berjalan secara keseluruhan dan waktu ketika tugas individu dimulai, berjalan, berhenti, dan diselesaikan. Jalankan log juga memberi Anda visibilitas ke langkah-langkah impor dan ekspor file.

  • Log tugas — Log tugas memberikan informasi pencatatan terperinci tentang tugas individual yang Anda jalankan. Output dalam log tugas Anda bergantung pada definisi tugas dan di mana Anda menggunakan pernyataan log dalam kode Anda. Jika log tugas Anda tidak memberikan tingkat wawasan yang Anda butuhkan, pertimbangkan untuk menambahkan pernyataan log tambahan ke definisi tugas Anda untuk menghasilkan log tugas yang lebih mendalam.

  • Jalankan log cache - Jalankan log cache memberikan status keseluruhan cache yang dijalankan dan caching output tugas. Jalankan log cache memberi Anda visibilitas ke cache hits dan hilses untuk setiap proses yang menggunakan caching.

  • Outputs.json — Untuk alur kerja WDL dan CWL, kirimkan HealthOmics file yang dibuat mesin, bernamaoutputs.json, ke bucket Amazon S3 Anda setelah proses selesai. File ini mencakup daftar dan peta semua output untuk dijalankan.

Masuk CloudWatch

CloudWatch menghasilkan log alur kerja untuk proses yang gagal dan proses yang berhasil. Semua log tersedia untuk proses yang berhasil dan gagal dijalankan.

Anda dapat menemukan log CloudWatch alur kerja di grup log berikut:/aws/omics/WorkflowLog. Selain itu, output dari operasi get-run API menyediakan ARN aliran CloudWatch log untuk log mesin dan log jalankan.

Secara default, AWS menyimpan CloudWatch Log tanpa batas waktu. Anda dapat menyesuaikan kebijakan penyimpanan untuk grup log untuk menetapkan periode penyimpanan antara 10 tahun dan satu hari.

Tabel berikut memberikan ringkasan CloudWatch Log in HealthOmics. Semua log alur kerja tersedia untuk proses yang berhasil dan gagal dijalankan.

Nama log Tersedia di CloudWatch Log Kapan log tersedia Format aliran log
Log mesin Ya Secara real time jalankan //mesin runID
Jalankan log manifes Ya

Setelah menjalankan selesai

 manifest/run/runID/runUUID
Jalankan log Ya Secara real time berjalan/ runID
Log tugas Ya Secara real time jalankan /tugas/ runID taskID
Jalankan log cache Ya Secara real time Jalankan Cache//runCacheIdrunCacheUUID
Outputs.json (WDL dan CWL) Tidak n/a n/a

Log di Amazon S3

Di antaraJenis log untuk alur HealthOmics kerja, hanya log mesin dan outputs.json file yang dikirim ke Amazon S3.

Setelah proses selesai, log engine dikirim ke bucket S3 Anda dan tersedia tanpa batas waktu sampai Anda menghapusnya. Log ini terletak di direktori log dari URI keluaran S3 yang Anda tentukan untuk alur kerja.

Jalur ke direktori log memiliki format berikut:s3://{user_provided_path}/logs/.

Tabel berikut memberikan ringkasan HealthOmics log yang tersedia di bucket Amazon S3 Anda.

Nama log Tersedia di Amazon S3 Kapan log tersedia Jalur aliran log
Log mesin Ya Setelah menjalankan selesai s3://user_provided_path/logs/engine.log
Outputs.json (WDL dan CWL) Ya

Setelah menjalankan selesai

 s3://user_provided_path/runIDrunUUID/logs/outputs.json
Jalankan log manifes, menjalankan log, dan log tugas Tidak n/a n/a

CloudWatch Log Interaktif di CLI

Anda dapat secara interaktif melihat CloudWatch Log menggunakan perintah Live Tail dalam mode interaktif. Anda dapat melacak kemajuan run secara real time dan menentukan hingga 5 kata kunci untuk disorot di log:

aws logs start-live-tail  \
  --mode interactive  \
  --log-group-identifiers arn:aws:logs:region:account-ID:log-group:/aws/omics/WorkflowLog

Untuk informasi selengkapnya, lihat Mulai live tail di Refer AWS CLI ensi Perintah.

Meng CloudWatch akses Log dari konsol

Untuk mengakses log untuk dijalankan, Anda dapat menautkan langsung ke log ini dari halaman rincian J alankan di HealthOmics konsol.

  1. Buka konsol HealthOmics .

  2. Jika diperlukan, buka panel navigasi kiri (≡). Pilih Runs.

  3. Pilih run dari tabel Runs.

  4. Di halaman rincian jalankan, Anda dapat memilih salah satu tindakan berikut:

    1. Dari J alankan ringkasan, pilih Lihat log jalankan. Konsol membuka log run di CloudWatch konsol.

    2. Dari Jalankan ringkasan, pilih Lihat log di Amazon S3. Konsol membuka folder log di konsol Amazon S3.

    3. Dari Jalan kan tugas, pilih Lihat log, Lihat log berjalan atau Lihat log manifes jalankan untuk tugas. Konsol membuka log di CloudWatch konsol.

Anda juga dapat menavigasi ke log dari CloudWatch konsol:

  1. Buka CloudWatch konsol https://console.aws.amazon.com/cloudwatch/.

  2. Dari menu sebelah kiri, pilih Grup log.

  3. Pilih grup /aws/omics/WorkflowLog.

    Jika daftar grup log panjang, Anda dapat memasukkan omics di kotak teks pencarian untuk mempersempit daftar.

  4. Saat halaman detail grup log terbuka, pilih aliran log yang ingin Anda lihat. Konsol menampilkan peristiwa untuk aliran log ini.