Akses internet untuk alur VPC-connected kerja

Saat Anda menghubungkan AWS HealthOmics run ke VPC, run hanya dapat mengakses sumber daya yang tersedia dalam VPC tersebut. Untuk memberikan akses run Anda ke internet publik atau AWS layanan di luar VPC, Anda harus mengonfigurasi VPC Anda dengan sumber daya jaringan yang sesuai.

Topik ini menjelaskan cara mengatur VPC Anda untuk menyediakan akses internet dan konektivitas yang efisien ke AWS layanan untuk proses Anda VPC-connected . Untuk informasi tentang menghubungkan run ke VPC, lihatMenghubungkan HealthOmics alur kerja ke VPC.

Menyiapkan VPC dengan akses internet

Untuk memberikan akses VPC-connected run Anda ke internet, buat VPC dengan subnet pribadi yang merutekan lalu lintas keluar melalui gateway NAT.

Konfigurasi ini menyediakan:

Wilayah yang Didukung dan Zona Ketersediaan

HealthOmics Alur kerja beroperasi di Wilayah dan Zona Ketersediaan berikut. Saat membuat VPC, pastikan subnet Anda berada di satu atau beberapa Zona Ketersediaan ini.

Saat Anda membuat konfigurasi HealthOmics VPC, tentukan subnet pribadi. Lari menggunakan gateway NAT di subnet publik untuk menjangkau internet.

Titik akhir VPC untuk AWS layanan

Anda dapat mengonfigurasi titik akhir VPC untuk memungkinkan run mengakses AWS layanan tanpa melintasi internet publik. Ini meningkatkan keamanan dan dapat mengurangi biaya transfer data.

Tabel berikut mencantumkan titik akhir VPC yang umum digunakan untuk dijalankan: HealthOmics

Daftar lengkap layanan yang dapat Anda akses melalui AWS PrivateLink titik akhir dapat ditemukan di AWS layanan yang terintegrasi dengannya AWS PrivateLink. Untuk petunjuk penyiapan titik akhir terperinci, lihat AWS Layanan AWS PrivateLink Akses melalui AWS PrivateLink Panduan.

Persyaratan NAT Gateway

Untuk lari yang membutuhkan akses internet publik:

Konfigurasi grup keamanan

Konfigurasikan grup keamanan Anda untuk mengizinkan lalu lintas keluar ke tujuan yang perlu diakses oleh proses yang Anda jalankan:

Contoh berikut menunjukkan aturan grup keamanan untuk akses internet publik:

Konfigurasi tabel rute

Pastikan subnet pribadi Anda memiliki entri tabel rute yang mengarahkan lalu lintas terikat internet ke gateway NAT:

Untuk akses ke sumber daya lokal, konfigurasikan rute ke gateway pribadi virtual atau gateway.

Izin IAM untuk AWS layanan

Saat tugas alur kerja Anda mengakses AWS layanan seperti Amazon Athena, AWS Glue, atau Amazon DynamoDB dalam mode jaringan VPC, Anda harus menambahkan izin yang diperlukan ke peran layanan yang Anda berikan ke API. StartRun Tanpa izin ini, tugas alur kerja Anda akan gagal dengan AccessDeniedException atau UnauthorizedException kesalahan.

Jika alur kerja Anda gagal dengan kesalahan izin, periksa CloudWatch log log untuk menjalankan alur kerja Anda. Pesan kesalahan umum termasuk AccessDeniedException: You are not authorized to perform: action on the resource (peran layanan tidak memiliki izin IAM yang diperlukan) atau UnrecognizedClientException: The security token included in the request is invalid (kebijakan kepercayaan peran layanan mungkin salah dikonfigurasi, atau peran yang diteruskan ARN StartRun salah).

Izin layanan umum

Contoh berikut menunjukkan izin IAM untuk AWS layanan yang umum digunakan dalam alur kerja mode VPC. Tambahkan izin ini ke kebijakan peran layanan berdasarkan layanan mana yang diakses alur kerja Anda.

{
  "Effect": "Allow",
  "Action": [
    "athena:StartQueryExecution",
    "athena:GetQueryExecution",
    "athena:GetQueryResults",
    "athena:StopQueryExecution"
  ],
  "Resource": "arn:aws:athena:region:account-id:workgroup/workgroup-name"
}

{
  "Effect": "Allow",
  "Action": [
    "glue:GetDatabase",
    "glue:GetTable",
    "glue:GetPartitions",
    "glue:CreateTable",
    "glue:UpdateTable"
  ],
  "Resource": [
    "arn:aws:glue:region:account-id:catalog",
    "arn:aws:glue:region:account-id:database/database-name",
    "arn:aws:glue:region:account-id:table/database-name/*"
  ]
}

{
  "Effect": "Allow",
  "Action": [
    "dynamodb:GetItem",
    "dynamodb:PutItem",
    "dynamodb:Query",
    "dynamodb:Scan"
  ],
  "Resource": "arn:aws:dynamodb:region:account-id:table/table-name"
}

{
  "Effect": "Allow",
  "Action": [
    "s3tables:GetTableData",
    "s3tables:PutTableData"
  ],
  "Resource": "arn:aws:s3tables:region:account-id:bucket/bucket-name/table/table-id"
}

Menguji konektivitas VPC

Sebelum menjalankan alur kerja produksi, validasi bahwa konfigurasi VPC Anda memungkinkan konektivitas ke layanan eksternal yang diperlukan.

Membuat alur kerja pengujian

Buat alur kerja sederhana yang menguji konektivitas ke layanan eksternal Anda. Misalnya, buat alur kerja yang mencoba koneksi TCP ke titik akhir layanan target.

Jalankan tes

aws omics start-run \
  --workflow-id test-workflow-id \
  --role-arn role-arn \
  --output-uri s3://bucket-name/test-outputs/ \
  --networking-mode VPC \
  --configuration-name configuration-name \
  --parameters file://test-parameters.json

Verifikasi hasil

Periksa output alur kerja untuk mengonfirmasi konektivitas yang berhasil:

{
  "connectivity_test.result": "Testing connection to external service...\nSUCCESS: Connection successful!\nTest completed"
}

Jika tes gagal, verifikasi yang berikut ini:

Contoh

Mengakses data NCBI dengan otentikasi API

Contoh ini menunjukkan cara mengakses data NCBI menggunakan NCBI Datasets API dengan otentikasi.

Untuk mendapatkan kunci API NCBI Anda, kunjungi dokumentasi NCBI API Keys.

Contoh definisi alur kerja:

version 1.0
#WORKFLOW DEFINITION

# Meant to be used as integration test for public internet access via VPC tunnel
workflow TestFlow {
    input {
        String ncbi_api_url = "https://api.ncbi.nlm.nih.gov/datasets/v2/gene/accession/NM_021803.4?api_key=<YOUR_API_KEY>"
    }

    call DataProcessTask{
        input:
            ncbi_api_url = ncbi_api_url,
    }

    output {
        File output_file = DataProcessTask.output_file
    }

}

#Task Definitions
task DataProcessTask {
    input {
        String ncbi_api_url
    }

    command <<<
        set -eu
        # Download file from NCBI Datasets API with API key
        curl -fsSL "~{ncbi_api_url}" -o gene_data.json

        # Add data processing task here
        cat gene_data.json > processed_data.json

        # Echo the content to output file
        cat processed_data.json > outfile.txt
    >>>

    output {
        File output_file = "outfile.txt"
    }
}

Poin kunci:

Untuk informasi selengkapnya tentang kunci API NCBI dan batas tarif, lihat dokumentasi API NCBI Datasets.

Praktik terbaik