Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penyimpanan singkat untuk HealthOmics tugas alur kerja

HealthOmics menyediakan penyimpanan singkat untuk tugas alur kerja menggunakan direktori. /tmp Penyimpanan ini bersifat sementara dan unik untuk setiap tugas dalam alur kerja. HealthOmics mengalokasikan 16 GiB penyimpanan sementara untuk setiap instance tugas secara default. Anda dapat meningkatkan jumlah penyimpanan sementara yang dialokasikan untuk tugas individual dalam definisi alur kerja Anda, hingga maksimum 3.072 GiB per tugas. Semua data yang disimpan /tmp dienkripsi saat istirahat.

Manfaat utama

Cara kerja penyimpanan fana

Saat Anda mengaktifkan penyimpanan sementara, HealthOmics pasang volume penyimpanan lokal khusus /tmp untuk setiap instance tugas alur kerja. Penyimpanan sementara ditujukan untuk file sementara yang dihasilkan selama eksekusi tugas. Volume penyimpanan sementara selalu dihapus saat tugas berakhir. Data yang ditulis tidak /tmp disimpan, diekspor, atau dapat diakses ke tugas lain atau proses selanjutnya.

Di mana alur kerja menulis file sementara

Alur kerja mendapat manfaat dari penyimpanan sementara saat proses tugas langsung digores. I/O /tmp Bahasa alur kerja bioinformatika menggunakan /tmp direktori (dan$TMP, variabel $TMPDIR lingkungan) untuk file perantara sementara yang berumur pendek selama eksekusi tugas. Pastikan perintah tugas Anda belum dipetakan $TMPDIR ke lokasi lain.

Proses tugas alur kerja yang menulis untuk /tmp secara otomatis menggunakan penyimpanan sementara saat diaktifkan, tidak memerlukan perubahan alur kerja. Alur kerja yang tidak secara eksplisit mengarahkan proses awal /tmp akan menulis data awal ke direktori kerja pada sistem file bersama yang digunakan untuk menjalankan penyimpanan, meskipun alat yang digunakan mungkin memanfaatkan penyimpanan sementara/tmp.

Enkripsi saat diam

Semua penyimpanan sementara dienkripsi saat istirahat menggunakan kunci yang dikelola layanan. AWS KMS Instans komputasi yang dipercepat dienkripsi perangkat keras dengan kunci per volume unik yang dihancurkan saat instance berakhir.

Izin

HealthOmics mengelola lampiran dan siklus hidup volume penyimpanan sementara atas nama Anda. Tidak ada izin IAM tambahan yang diperlukan dalam peran eksekusi tugas Anda.

Mengaktifkan penyimpanan sementara

Anda dapat mengarahkan awal I/O ke penyimpanan lokal dengan menyetel scratchStorageMode di StartRun API. scratchStorageModePengaturan hanya berlaku untuk instance CPU dan berlaku untuk semua tugas dalam proses itu.

scratchStorageModemenentukan di mana alur kerja Anda menulis data awal. Kemungkinan nilai:

Untuk informasi selengkapnya, lihat Mulai lari di HealthOmics.

Ikut serta dalam penyimpanan sementara

Untuk mengaktifkan penyimpanan sementara untuk menjalankan, setel scratchStorageMode ke LOCAL saat Anda memulai proses.

aws omics start-run \
    --workflow-id workflow-id \
    --role-arn arn:aws:iam::123456789012:role/OmicsServiceRole \
    --output-uri s3://amzn-s3-demo-bucket/output-folder/ \
    --parameters file:///path/to/parameters.json \
    --scratch-storage-mode LOCAL

Untuk batch run, scratchStorageMode masukdefaultRunSetting. Pengaturan ini berlaku untuk setiap proses dalam batch.

aws omics start-run-batch \
    --batch-name "my-batch" \
    --default-run-setting '{
      "workflowId": "workflow-id",
      "roleArn": "arn:aws:iam::123456789012:role/OmicsServiceRole",
      "outputUri": "s3://amzn-s3-demo-bucket/output-folder/",
      "storageType": "DYNAMIC",
      "parameters": {"referenceUri": "s3://amzn-s3-demo-bucket/reference.fasta"},
      "scratchStorageMode": "LOCAL"
    }' \
    --batch-run-settings '{
      "inlineSettings": [
        {
          "runSettingId": "sample-A",
          "parameters": {"inputUri": "s3://amzn-s3-demo-bucket/sampleA.fastq"}
        },
        {
          "runSettingId": "sample-B",
          "parameters": {"inputUri": "s3://amzn-s3-demo-bucket/sampleB.fastq"}
        }
      ]
    }'

Menyisih dari penyimpanan sementara

Untuk menonaktifkan penyimpanan sementara untuk proses tertentu (misalnya, untuk mengisolasi kegagalan), setel ke. scratchStorageMode SHARED

aws omics start-run \
     --workflow-id workflow-id \
     --role-arn arn:aws:iam::123456789012:role/OmicsServiceRole \
     --output-uri s3://amzn-s3-demo-bucket/output-folder/ \
     --scratch-storage-mode SHARED

Kapan scratchStorageMode adaSHARED, semua disk dan arahan yang setara dalam definisi alur kerja diabaikan dan /tmp didukung oleh sistem file bersama. Pengaturan ini hanya berlaku untuk instance CPU. Tugas GPU selalu menggunakan penyimpanan sementara NVMe lokal dan tidak dapat ditolak.

Periksa mode efektif

Penyimpanan sementara dinonaktifkan secara default. Kapan scratchStorageMode dihilangkan dari StartRun permintaan, scratchStorageMode diatur ke SHARED (default).

scratchStorageModehanya dikembalikan dalam GetRun tanggapan jika secara eksplisit diteruskan dalam permintaan. StartRun SHAREDadalah nilai default jika dihilangkan. Panggil GetRun untuk mengonfirmasi mode penyimpanan efektif untuk dijalankan.

aws omics get-run --id run-id

Alokasi penyimpanan default

Alokasi penyimpanan sementara default adalah 16 GiB per tugas untuk semua tipe Standar, Komputasi, dan instance. Memory-optimized Anda tidak perlu menentukan disk arahan untuk menerima default ini. Untuk mengkonfigurasi penyimpanan tambahan, gunakan disk arahan. Anda dapat meningkatkan jumlah penyimpanan sementara yang dialokasikan untuk tugas individual dalam definisi alur kerja Anda, hingga maksimum 3.072 GiB per tugas. Anda ditagih untuk penyimpanan di atas default 16 GiB.

Penyimpanan sementara dapat dikonfigurasi dengan penambahan 16 GiB. Untuk informasi selengkapnya, lihat Ukuran yang didukung.

Penyimpanan singkat untuk instans komputasi yang dipercepat

Kapasitas penyimpanan instans GPU ditetapkan per jenis instans dan disediakan tanpa biaya tambahan.

Tugas GPU selalu menggunakan penyimpanan sementara NVMe lokal. scratchStorageModePengaturan pada StartRun tidak berlaku untuk tugas GPU dan menyetel nilai ini tidak SHARED akan berpengaruh pada instance GPU. Kapasitas tetap per jenis instans dan tidak dapat disesuaikan menggunakan disk arahan. Kapasitas NVMe ditentukan sebelumnya oleh jenis instans yang dipilih untuk tugascpu,memory, dan persyaratan. acceleratorType

Mengkonfigurasi ukuran penyimpanan sementara

Bila scratchStorageMode disetel keLOCAL, Anda dapat meminta peningkatan penyimpanan sementara per tugas menggunakan disk direktif (atau setara) dalam definisi alur kerja Anda. HealthOmics memperlakukan disk arahan sebagai petunjuk dan memberikan volume yang dibulatkan ke 16 GiB berikutnya. Penggunaan disk direktif tidak mempengaruhi pemilihan tipe instance. Jenis instans dipilih hanya berdasarkancpu,memory, danacceleratorType. Untuk informasi selengkapnya, lihat Sumber daya tugas dalam definisi HealthOmics alur kerja.

Jika tidak ada disk arahan, tugas menerima default 16 GiB. Tugas tidak dapat memiliki kurang dari penyimpanan sementara default.

Anda tidak perlu mengukur penyimpanan sementara Anda untuk gambar kontainer yang ditarik, yang diperhitungkan secara terpisah. Untuk informasi selengkapnya, lihat Gambar kontainer untuk alur kerja pribadi.

Kapan menggunakan direktif disk

Gunakan disk direktif dalam definisi tugas Anda ketika penyimpanan singkat default untuk jenis instans yang Anda pilih tidak cukup untuk persyaratan tugas Anda. Misalnya, ketika tugas menulis volume besar data ke/tmp.

Kasus penggunaan umum untuk peningkatan penyimpanan sementara

Sintaks direktif oleh mesin

Tabel berikut menunjukkan direktif setara untuk setiap bahasa alur kerja.

Contoh berikut menunjukkan cara mengonfigurasi tugas yang meminta penyimpanan sementara 700 GiB. HealthOmics membulatkan ini ke tingkat 704 GiB.

WDL

task sort_bam {
    runtime {
        cpu:  16
        disks: "700 GiB"
    }
    command <<<
        samtools sort -T /tmp/sort_buffer ~{input_bam} -o ~{output_bam}
    >>>
}

Nextflow

process sort_bam {
    disk '700 GB'
    script:
    """
    samtools sort -T /tmp/sort_buffer ${input} -o ${output}
    """
}

CWL

requirements:
  ResourceRequirement:
    tmpdirMin: 716800   # 700 GiB expressed in MiB

Untuk informasi selengkapnya tentang sintaks direktif yang didukung, lihat Spesifikasi definisi alur kerja WDL dan. Spesifikasi definisi alur kerja alur berikutnya

Alat bioinformatika umum dan penyimpanan fana

Banyak alat bioinformatika menulis file sementara besar selama eksekusi. Ketika scratchStorageMode disetel keLOCAL, arahkan ulang alat ini untuk digunakan /tmp sehingga goresan I/O masuk ke volume lokal yang cepat alih-alih sistem file run bersama. Contoh berikut menunjukkan bendera yang relevan untuk alat yang umum digunakan.

WDL

task sort_bam {
    runtime {
        cpu:   16
        disks: "700 GiB"
    }
    command <<<
        # samtools: -T sets the temp-file prefix
        samtools sort -T /tmp/sort_buffer ~{input_bam} -o ~{sorted_bam}

        # GATK / Picard: --TMP_DIR flag (older Picard uses TMP_DIR=/tmp)
        gatk MarkDuplicates -I ~{sorted_bam} -O ~{output_bam} --TMP_DIR /tmp

        # STAR: --outTmpDir (path must not pre-exist; STAR creates it)
        STAR --runThreadN 16 --readFilesIn ~{reads} --outTmpDir /tmp/star_tmp --outFileNamePrefix out_

        # bcftools sort: -T / --temp-dir
        bcftools sort -T /tmp ~{vcf} -o ~{output_vcf}

        # GNU sort: -T / --temporary-directory
        sort -T /tmp ~{big_table} -o ~{sorted_table}
    >>>
}
# HealthOmics rounds 700 GiB up to the 704 GiB tier

Nextflow

process sort_bam {
    disk '700 GB'
    script:
    """
    # samtools: -T sets the temp-file prefix
    samtools sort -T /tmp/sort_buffer input.bam -o sorted.bam

    # GATK / Picard: --TMP_DIR flag (older Picard uses TMP_DIR=/tmp)
    gatk MarkDuplicates -I sorted.bam -O dedup.bam --TMP_DIR /tmp

    # STAR: --outTmpDir (path must not pre-exist; STAR creates it)
    STAR --runThreadN 16 --readFilesIn reads.fastq --outTmpDir /tmp/star_tmp --outFileNamePrefix out_

    # bcftools sort: -T / --temp-dir
    bcftools sort -T /tmp input.vcf -o sorted.vcf

    # GNU sort: -T / --temporary-directory
    sort -T /tmp big_table.tsv -o sorted_table.tsv
    """
}
// HealthOmics rounds 700 GB up to the 704 GiB tier

CWL

class: CommandLineTool
cwlVersion: v1.2
requirements:
  ResourceRequirement:
    coresMin: 16
    tmpdirMin: 716800          # 700 GiB expressed in MiB
baseCommand: [bash, -c]
arguments:
  - |
    set -euo pipefail

    # samtools: -T sets the temp-file prefix
    samtools sort -T /tmp/sort_buffer input.bam -o sorted.bam

    # GATK / Picard: --TMP_DIR flag (older Picard uses TMP_DIR=/tmp)
    gatk MarkDuplicates -I sorted.bam -O dedup.bam --TMP_DIR /tmp

    # STAR: --outTmpDir (path must not pre-exist; STAR creates it)
    STAR --runThreadN 16 --readFilesIn reads.fastq --outTmpDir /tmp/star_tmp --outFileNamePrefix out_

    # bcftools sort: -T / --temp-dir
    bcftools sort -T /tmp input.vcf -o sorted.vcf

    # GNU sort: -T / --temporary-directory
    sort -T /tmp big_table.tsv -o sorted_table.tsv

Ukuran yang didukung

Ukuran yang diminta dibulatkan ke kenaikan 16 GiB terdekat, mulai dari default 16 GiB (16, 32, 48, 64,... hingga 3.072 GiB). Ukuran maksimum yang didukung adalah 3.072 GiB per tugas.

Jika ukuran yang diminta melebihi 3.072 GiB, berikan HealthOmics 3.072 GiB dan tulis peringatan ke log run. Tugas tidak secara otomatis gagal.

Formulir disk WDL yang didukung

Untuk daftar lengkap disks formulir WDL yang diterima, lihat. Formulir disk WDL yang didukung

Menggunakan direktif awal Nextflow

Untuk alur kerja Nextflow, Anda dapat menggunakan scratch direktif untuk mengontrol di mana proses menulis file kerja sementara. Untuk informasi tentang nilai yang didukung dan penggunaan yang disarankan dengan penyimpanan sementara, lihat. Menggunakan penyimpanan awal secara efisien di Nextflow

Memantau penyimpanan fana

HealthOmics menulis metrik penyimpanan singkat per tugas ke log manifes. CloudWatch Metrik mencakup data penyimpanan sementara per tugas dari ukuran volume yang disediakan (asscratchStorageReservedGiB) dan penggunaan (as) untuk setiap tugas. scratchStorageUtilizedGiB Tinjau log manifes untuk menentukan apakah tugas terlalu banyak atau kurang disediakan tanpa melakukan kueri secara langsung. CloudWatch Untuk detail tentang log manifes, lihatPemantauan HealthOmics dengan CloudWatch Log.

Bagaimana penyimpanan fana ditagih

Anda ditagih hanya untuk penyimpanan sementara yang disediakan di atas alokasi default. Permintaan di atas default dalam disk arahan Anda dibulatkan ke tingkat dukungan terdekat.

Instans GPU memiliki penyimpanan sementara yang sudah diperhitungkan dalam harga instans. Tidak ada biaya tambahan untuk penyimpanan sementara pada tugas GPU.

Pertimbangan dan batasan

Memecahkan masalah penyimpanan sementara

Tugas gagal dengan penyimpanan fana yang habis

Sebuah tugas gagal ketika penyimpanan sementara mencapai kapasitas. Tinjau log CloudWatch manifes Anda untuk menentukan berapa banyak penyimpanan yang sebenarnya digunakan tugas Anda, lalu tambahkan atau tingkatkan disk arahan untuk meminta tingkat yang lebih besar.

# Before: 4-vCPU task using the 16 GiB default
runtime { cpu: 4 }

# After: explicitly request 400 GiB
runtime { cpu: 4, disks: "400 GiB" }

Penyimpanan sementara tampaknya tidak digunakan

Panggil GetRun dan periksa scratchStorageMode bidangnya. Jika nilainyaSHARED, penyimpanan sementara tidak diaktifkan untuk proses itu. --scratch-storage-mode LOCALAtur start-run panggilan Anda berikutnya.

aws omics get-run --id run-id