翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
# HealthOmics ストレージ
HealthOmics ストレージを使用すると、ゲノミクスデータを効率的かつ低コストで保存、取得、整理、共有できます。HealthOmics ストレージは、異なるデータオブジェクト間の関係を理解し、同じソースデータから発生した読み取りセットを定義できます。これにより、データの出所が提供されます。
`ACTIVE` 状態に保存されているデータは、すぐに取得できます。30 日以上アクセスされていないデータは `ARCHIVE`状態で保存されます。アーカイブされたデータにアクセスするには、API オペレーションまたはコンソールを使用してデータを再アクティブ化します。
HealthOmics シーケンスストアは、ファイルのコンテンツの整合性を維持するように設計されています。ただし、アクティブな階層化とアーカイブ階層化中の圧縮のため、インポートされたデータファイルとエクスポートされたファイルのビット単位の同等性は保持されません。
取り込み中、HealthOmics はエンティティタグまたは *HealthOmics ETag* を生成して、データファイルのコンテンツの整合性を検証できるようにします。シーケンス部分は、読み取りセットのソースレベルで ETag として識別され、キャプチャされます。ETag 計算では、実際のファイルやゲノムデータは変更されません。読み取りセットが作成されると、ETag は読み取りセットソースのライフサイクルを通じて変更されません。つまり、同じファイルを再インポートすると、同じ ETag 値が計算されます。
**Topics**
+ [HealthOmics ETags とデータ出所](etags-and-provenance.md)
+ [HealthOmics リファレンスストアの作成](create-reference-store.md)
+ [HealthOmics シーケンスストアの作成](create-sequence-store.md)
+ [HealthOmics リファレンスストアとシーケンスストアの削除](deleting-reference-and-sequence-stores.md)
+ [HealthOmics シーケンスストアへの読み取りセットのインポート](import-sequence-store.md)
+ [HealthOmics シーケンスストアへの直接アップロード](synchronous-uploads.md)
+ [HealthOmics リードセットを Amazon S3 バケットにエクスポートする](read-set-exports.md)
+ [Amazon S3 URIs を使用した HealthOmics リードセットへのアクセス](s3-access.md)
+ [HealthOmics での読み取りセットのアクティブ化](activating-read-sets.md)
# HealthOmics ETags とデータ出所
HealthOmics ETag (エンティティタグ) は、シーケンスストアに取り込まれたコンテンツのハッシュです。これにより、取り込まれたデータファイルのコンテンツの整合性を維持しながら、データの取得と処理が簡素化されます。ETag は、オブジェクトのメタデータではなくセマンティックコンテンツへの変更を反映します。指定されたリードセットタイプとアルゴリズムによって、ETag の計算方法が決まります。ETag 計算では、実際のファイルやゲノムデータは変更されません。読み取りセットのファイルタイプスキーマがそれを許可すると、シーケンスストアはデータ出所にリンクされたフィールドを更新します。
ファイルにはビット単位のアイデンティティとセマンティックアイデンティティがあります。ビット単位のアイデンティティは、ファイルのビットが同じであることを意味します。セマンティックアイデンティティは、ファイルのコンテンツが同じであることを意味します。セマンティックアイデンティティは、ファイルのコンテンツの整合性をキャプチャする際に、メタデータの変更や圧縮の変更に強いです。
HealthOmics シーケンスストアのリードセットは、オブジェクトのライフサイクル全体で圧縮/解凍サイクルとデータ出所の追跡が行われます。この処理中、取り込まれたファイルのビット単位のアイデンティティは変更される可能性があり、ファイルがアクティブ化されるたびに変更されることが予想されますが、ファイルのセマンティックアイデンティティは維持されます。セマンティックアイデンティティは HealthOmics エンティティタグ、またはシーケンスストアの取り込み中に計算され、リードセットメタデータとして利用できる ETag としてキャプチャされます。
読み取りセットのファイルタイプスキーマで許可されている場合、シーケンスストアの更新フィールドはデータの出所にリンクされます。uBAM、BAM、および CRAM ファイルの場合、新しい `@CO`または `Comment` タグが ヘッダーに追加されます。コメントには、シーケンスストア ID と取り込みタイムスタンプが含まれます。
## Amazon S3 ETags
Amazon S3 URI を使用してファイルにアクセスする場合、Amazon S3 API オペレーションは Amazon S3 ETag 値とチェックサム値も返すことがあります。Amazon S3 ETag とチェックサムの値は、ファイルのビット単位のアイデンティティを表すため、HealthOmics ETags とは異なります。説明メタデータとオブジェクトの詳細については、Amazon S3 Object API [ドキュメント](https://docs.aws.amazon.com/AmazonS3/latest/API/API_Object.html)を参照してください。Amazon S3 ETag 値は、読み取りセットのアクティベーションサイクルごとに変更される可能性があり、それを使用してファイルの読み取りを検証できます。ただし、ファイルのライフサイクル中にファイル ID の検証に使用する Amazon S3 ETag 値は整合性が保たれないため、キャッシュしないでください。対照的に、HealthOmics ETag は、リードセットのライフサイクルを通じて一貫性を維持します。
## HealthOmics が ETags を計算する方法
ETag は、取り込まれたファイルコンテンツのハッシュから生成されます。ETag アルゴリズムファミリーはデフォルトで MD5up に設定されていますが、シーケンスストアの作成時に異なる方法で設定できます。ETag が計算されると、アルゴリズムと計算されたハッシュが読み取りセットに追加されます。ファイルタイプでサポートされている MD5 アルゴリズムは次のとおりです。
+ *FASTQ\$1MD5up* – 非圧縮で完全な FASTQ リードセットソースの MD5 ハッシュを計算します。
+ *BAM\$1MD5up* – SAM で表される非圧縮 BAM または uBAM リードセットソースのアラインメントセクションの MD5 ハッシュを、利用可能な場合はリンクされたリファレンスに基づいて計算します。
+ *CRAM\$1MD5up* – リンクされたリファレンスに基づいて、SAM で表される非圧縮 CRAM リードセットソースのアライメントセクションの MD5 ハッシュを計算します。
**注記**
MD5 ハッシュは衝突に対して脆弱であることが知られています。このため、2 つの異なるファイルは、既知の衝突を悪用するために製造された場合、同じ ETag を持つ可能性があります。
SHA256 ファミリーでは、次のアルゴリズムがサポートされています。アルゴリズムは次のように計算されます。
+ *FASTQ\$1SHA256up* – 非圧縮で完全な FASTQ リードセットソースの SHA-256 ハッシュを計算します。
+ *BAM\$1SHA256up* – SAM で表される非圧縮 BAM または uBAM リードセットソースのアライメントセクションの SHA-256 ハッシュが使用可能な場合は、リンクされたリファレンスに基づいて計算します。
+ *CRAM\$1SHA256up* – リンクされたリファレンスに基づいて、SAM で表される非圧縮 CRAM リードセットソースのアライメントセクションの SHA-256 ハッシュを計算します。
SHA512 ファミリーでは、次のアルゴリズムがサポートされています。アルゴリズムは次のように計算されます。
+ *FASTQ\$1SHA512up* – 非圧縮で完全な FASTQ リードセットソースの SHA-512 ハッシュを計算します。
+ *BAM\$1SHA512up* – SAM で表される非圧縮 BAM または uBAM リードセットソースのアライメントセクションの SHA-512 ハッシュを、利用可能な場合はリンクされたリファレンスに基づいて計算します。
+ *CRAM\$1SHA512up * – リンクされたリファレンスに基づいて、SAM で表される非圧縮 CRAM リードセットソースのアライメントセクションの SHA-512 ハッシュを計算します。
# HealthOmics リファレンスストアの作成
HealthOmics のリファレンスストアは、リファレンスゲノムを保存するためのデータストアです。各 AWS アカウント およびリージョンに 1 つのリファレンスストアを持つことができます。コンソールまたは CLI を使用してリファレンスストアを作成できます。
**Topics**
+ [コンソールを使用したリファレンスストアの作成](#console-create-reference-store)
+ [CLI を使用したリファレンスストアの作成](#api-create-reference-store)
## コンソールを使用したリファレンスストアの作成
**参照ストアを作成するには**
1. [HealthOmics コンソール](https://console.aws.amazon.com/omics/)を開きます。
1. 必要に応じて、左側のナビゲーションペイン (≡) を開きます。**リファレンスストア**を選択します。
1. **Genomics データストレージオプションから参照ゲノム**を選択します。
1. 以前にインポートした参照ゲノムを選択するか、新しい参照ゲノムをインポートできます。参照ゲノムをインポートしていない場合は、右上の**「参照ゲノムのインポート**」を選択します。
1. **リファレンスゲノムのインポートジョブの作成**ページで、**クイック作成**または**手動作成**オプションを選択してリファレンスストアを作成し、次の情報を指定します。
+ **参照ゲノム名** - このストアの一意の名前。
+ **説明** (オプション) - このリファレンスストアの説明。
+ **IAM ロール** - 参照ゲノムにアクセスできるロールを選択します。
+ **Amazon S3 からのリファレンス** - Amazon S3 バケット内のリファレンスシーケンスファイルを選択します。
+ **タグ** (オプション) - このリファレンスストアには最大 50 個のタグを指定します。
## CLI を使用したリファレンスストアの作成
次の例は、 を使用してリファレンスストアを作成する方法を示しています AWS CLI。 AWS リージョンごとに 1 つのリファレンスストアを持つことができます。
リファレンスストアは、拡張子 `.fasta`、、`.fa`、、、`.fas`、、`.fsa``.faa``.fna`、、、`.ffn`、`.frn``.mpfa``.seq`、 の FASTA ファイルのストレージをサポートしています`.txt`。これらの拡張機能`bgzip`のバージョンもサポートされています。
次の例では、 をリファレンスストアに選択した名前`reference store name`に置き換えます。
```
aws omics create-reference-store --name "reference store name"
```
リファレンスストア ID と名前、ARN、およびリファレンスストアが作成された時刻のタイムスタンプを含む JSON レスポンスを受け取ります。
```
{
"id": "3242349265",
"arn": "arn:aws:omics:us-west-2:555555555555:referenceStore/3242349265",
"name": "MyReferenceStore",
"creationTime": "2022-07-01T20:58:42.878Z"
}
```
リファレンスストア ID は、追加の AWS CLI コマンドで使用できます。次の例に示すように、**list-reference-stores** コマンドを使用して、アカウントにリンクされたリファレンスストア IDs のリストを取得できます。
```
aws omics list-reference-stores
```
これに応じて、新しく作成したリファレンスストアの名前を受け取ります。
```
{
"referenceStores": [
{
"id": "3242349265",
"arn": "arn:aws:omics:us-west-2:555555555555:referenceStore/3242349265",
"name": "MyReferenceStore",
"creationTime": "2022-07-01T20:58:42.878Z"
}
]
}
```
リファレンスストアを作成したら、インポートジョブを作成してゲノムリファレンスファイルをロードできます。そのためには、 を使用するか、IAM ロールを作成してデータにアクセスする必要があります。以下は、ポリシーの例です。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket1",
"arn:aws:s3:::amzn-s3-demo-bucket1/*"
]
}
]
}
```
------
次の例のような信頼ポリシーも必要です。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"omics.amazonaws.com"
]
},
"Action": "sts:AssumeRole"
}
]
}
```
------
参照ゲノムをインポートできるようになりました。この例では、Genome Reference Consortium Human Build 38 (hg38) を使用しています。これはオープンアクセスであり、 [のオープンデータレジストリ AWS](https://registry.opendata.aws/)から入手できます。このデータをホストするバケットは、米国東部 (オハイオ) に基づいています。他の AWS リージョンでバケットを使用するには、リージョンでホストされている Amazon S3 バケットにデータをコピーします。次の AWS CLI コマンドを使用して、ゲノムを Amazon S3 バケットにコピーします。
```
aws s3 cp s3://broad-references/hg38/v0/Homo_sapiens_assembly38.fasta s3://amzn-s3-demo-bucket
```
その後、インポートジョブを開始できます。`reference store ID`、`role ARN`、 を独自の入力`source file path`に置き換えます。
```
aws omics start-reference-import-job --reference-store-id reference store ID --role-arn role ARN --sources source file path
```
データがインポートされると、JSON で次のレスポンスを受け取ります。
```
{
"id": "7252016478",
"referenceStoreId": "3242349265",
"roleArn": "arn:aws:iam::111122223333:role/OmicsReferenceImport",
"status": "CREATED",
"creationTime": "2022-07-01T21:15:13.727Z"
}
```
次のコマンドを使用して、ジョブのステータスをモニタリングできます。次の例では、 `reference store ID`と `job ID`を、詳細を確認するリファレンスストア ID とジョブ ID に置き換えます。
```
aws omics get-reference-import-job --reference-store-id reference store ID --id job ID
```
レスポンスでは、そのリファレンスストアの詳細とそのステータスを含むレスポンスを受け取ります。
```
{
"id": "7252016478",
"referenceStoreId": "3242349265",
"roleArn": "arn:aws:iam::555555555555:role/OmicsReferenceImport",
"status": "RUNNING",
"creationTime": "2022-07-01T21:15:13.727Z",
"sources": [
{
"sourceFile": "s3://amzn-s3-demo-bucket/Homo_sapiens_assembly38.fasta",
"status": "IN_PROGRESS",
"name": "MyReference"
}
]
}
```
インポートされたリファレンスを見つけるには、リファレンスを一覧表示し、リファレンス名に基づいてフィルタリングします。をリファレンスストア ID `reference store ID`に置き換え、オプションのフィルターを追加してリストを絞り込みます。
```
aws omics list-references --reference-store-id reference store ID --filter name=MyReference
```
応答として、次の情報を受け取ります。
```
{
"references": [
{
"id": "1234567890",
"arn": "arn:aws:omics:us-west-2:555555555555:referenceStore/1234567890/reference/1234567890",
"referenceStoreId": "12345678",
"md5": "7ff134953dcca8c8997453bbb80b6b5e",
"status": "ACTIVE",
"name": "MyReference",
"creationTime": "2022-07-02T00:15:19.787Z",
"updateTime": "2022-07-02T00:15:19.787Z"
}
]
}
```
リファレンスメタデータの詳細については、**get-reference-metadata** API オペレーションを使用します。次の例では、 をリファレンスストア ID `reference store ID`に置き換え、 を詳細を確認する`reference ID`リファレンス ID に置き換えます。
```
aws omics get-reference-metadata --reference-store-id reference store ID --id reference ID
```
応答として以下の情報を受け取ります。
```
{
"id": "1234567890",
"arn": "arn:aws:omics:us-west-2:555555555555:referenceStore/referencestoreID/reference/referenceID",
"referenceStoreId": "1234567890",
"md5": "7ff134953dcca8c8997453bbb80b6b5e",
"status": "ACTIVE",
"name": "MyReference",
"creationTime": "2022-07-02T00:15:19.787Z",
"updateTime": "2022-07-02T00:15:19.787Z",
"files": {
"source": {
"totalParts": 31,
"partSize": 104857600,
"contentLength": 3249912778
},
"index": {
"totalParts": 1,
"partSize": 104857600,
"contentLength": 160928
}
}
}
```
**get-reference を使用して、リファレンス**ファイルの一部をダウンロードすることもできます。次の例では、 をリファレンスストア ID `reference store ID`に、 をダウンロード元のリファレンス ID `reference ID` に置き換えます。
```
aws omics get-reference --reference-store-id reference store ID --id reference ID --part-number 1 outfile.fa
```
# HealthOmics シーケンスストアの作成
HealthOmics シーケンスストアは、 `FASTQ` (gzip のみ) および の非整列形式のゲノムファイルのストレージをサポートしています`uBAM`。また、 `BAM`および のアラインされた形式もサポートしています`CRAM`。
インポートされたファイルは読み取りセットとして保存されます。読み取りセットにタグを追加し、IAM ポリシーを使用して読み取りセットへのアクセスを制御できます。整列されたリードセットには、ゲノムシーケンスを整列させるために参照ゲノムが必要ですが、整列されていないリードセットではオプションです。
リードセットを保存するには、まずシーケンスストアを作成します。シーケンスストアを作成するときは、オプションの Amazon S3 バケットをフォールバックの場所および S3 アクセスログが保存される場所として指定できます。フォールバックの場所は、直接アップロード中に読み取りセットの作成に失敗したファイルを保存するために使用されます。フォールバックロケーションは、2023 年 5 月 15 日以降に作成されたシーケンスストアで利用できます。シーケンスストアを作成するときに、フォールバックの場所を指定します。
最大 5 つのリードセットタグキーを指定できます。これらのキーのいずれかに一致するタグキーを使用して読み取りセットを作成または更新すると、読み取りセットタグは対応する Amazon S3 オブジェクトに伝達されます。HealthOmics によって作成されたシステムタグは、デフォルトで伝播されます。
**Topics**
+ [コンソールを使用したシーケンスストアの作成](#console-create-sequence-store)
+ [CLI を使用したシーケンスストアの作成](#api-create-sequence-store)
+ [シーケンスストアの更新](#update-sequence-store)
+ [シーケンスストアのリードセットタグの更新](#sequence-store-manage-tags)
+ [ゲノムファイルのインポート](#import-genomic-files)
## コンソールを使用したシーケンスストアの作成
**シーケンスストアを作成するには**
1. [HealthOmics コンソール](https://console.aws.amazon.com/omics/)を開きます。
1. 必要に応じて、左側のナビゲーションペイン (≡) を開きます。**シーケンスストア**を選択します。
1. **シーケンスストアの作成**ページで、次の情報を入力します。
+ **シーケンスストア名** - このストアの一意の名前。
+ **説明** (オプション) - このシーケンスストアの説明。
1. **S3 のフォールバックの場所には**、Amazon S3 の場所を指定します。HealthOmics はフォールバックの場所を使用して、直接アップロード中に読み取りセットの作成に失敗したファイルを保存します。HealthOmics サービスに Amazon S3 フォールバックロケーションへの書き込みアクセスを許可する必要があります。ポリシーの例については[フォールバックの場所を設定する](synchronous-uploads.md#synchronous-uploads-fallback)を参照してください。
フォールバックロケーションは、2023 年 5 月 16 日より前に作成されたシーケンスストアでは使用できません。
1. (オプション) **S3 伝達のリードセットタグキーの場合**、最大 5 つのリードセットキーを入力して、リードセットから基盤となる S3 オブジェクトに伝達できます。読み取りセットから S3 オブジェクトにタグを伝播することで、タグやエンドユーザーに基づいて S3 アクセス許可を付与し、Amazon S3 getObjectTagging API オペレーションを通じて伝播されたタグを表示できます。
1. テキストボックスに 1 つのキー値を入力します。コンソールは、次のキーを追加する新しいテキストボックスを作成します。
1. (オプション) **削除** を選択して、すべてのキーを削除します。
1. **「データ暗号化**」で、データ暗号化を が所有および管理 AWS するか、カスタマー管理の CMK を使用するかを選択します。
1. (オプション) **S3 データアクセスで**、Amazon S3 を介してシーケンスストアにアクセスするための新しいロールとポリシーを作成するかどうかを選択します。
1. (オプション) **S3 アクセスログ記録**では、Amazon S3 がアクセスログレコードを収集`Enabled`するかどうかを選択します。
**S3 のアクセスログの場所**には、ログを保存する Amazon S3 の場所を指定します。このフィールドは、S3 アクセスログ記録を有効にした場合にのみ表示されます。
1. **タグ** (オプション) - このシーケンスストアには最大 50 個のタグを指定します。これらのタグは、読み取りセットのインポート/タグ更新中に設定される読み取りセットタグとは別のものです。
ストアを作成すると、 の準備が整います[ゲノムファイルのインポート](#import-genomic-files)。
## CLI を使用したシーケンスストアの作成
次の例では、 をシーケンスストアに選択した名前`sequence store name`に置き換えます。
```
aws omics create-sequence-store --name sequence store name --fallback-location "s3://amzn-s3-demo-bucket"
```
JSON で次のレスポンスを受け取ります。これには、新しく作成したシーケンスストアの ID 番号が含まれます。
```
{
"id": "3936421177",
"arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/3936421177",
"name": "sequence_store_example_name",
"creationTime": "2022-07-13T20:09:26.038Z"
"fallbackLocation" : "s3://amzn-s3-demo-bucket"
}
```
以下に示すように、**list-sequence-stores** コマンドを使用して、アカウントに関連付けられているすべてのシーケンスストアを表示することもできます。
```
aws omics list-sequence-stores
```
次のレスポンスが表示されます。
```
{
"sequenceStores": [
{
"arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/3936421177",
"id": "3936421177",
"name": "MySequenceStore",
"creationTime": "2022-07-13T20:09:26.038Z",
"updatedTime": "2024-09-13T04:11:31.242Z",
"fallbackLocation" : "s3://amzn-s3-demo-bucket",
"status": "Active"
}
]
}
```
**get-sequence-store** を使用して、次の例に示すように ID を使用してシーケンスストアの詳細を確認できます。
```
aws omics get-sequence-store --id sequence store ID
```
次のレスポンスが表示されます。
```
{
"arn": "arn:aws:omics:us-west-2:123456789012:sequenceStore/sequencestoreID",
"creationTime": "2024-01-12T04:45:29.857Z",
"updatedTime": "2024-09-13T04:11:31.242Z",
"description": null,
"fallbackLocation": null,
"id": "2015356892",
"name": "MySequenceStore",
"s3Access": {
"s3AccessPointArn": "arn:aws:s3:us-west-2:123456789012:accesspoint/592761533288-2015356892",
"s3Uri": "s3://592761533288-2015356892-ajdpi90jdas90a79fh9a8ja98jdfa9jf98-s3alias/592761533288/sequenceStore/2015356892/",
"accessLogLocation": "s3://IAD-seq-store-log/2015356892/"
},
"sseConfig": {
"keyArn": "arn:aws:kms:us-west-2:123456789012:key/eb2b30f5-635d-4b6d-b0f9-d3889fe0e648",
"type": "KMS"
},
"status": "Active",
"statusMessage": null,
"setTagsToSync": ["withdrawn","protocol"],
}
```
作成後、複数のストアパラメータを更新することもできます。これは、 コンソールまたは API `updateSequenceStore`オペレーションを使用して実行できます。
## シーケンスストアの更新
シーケンスストアを更新するには、次の手順に従います。
1. [HealthOmics コンソール](https://console.aws.amazon.com/omics/)を開きます。
1. 必要に応じて、左側のナビゲーションペイン (≡) を開きます。**シーケンスストア**を選択します。
1. 更新するシーケンスストアを選択します。
1. **詳細**パネルで、**編集**を選択します。
1. **詳細の編集**ページで、次のフィールドを更新できます。
+ **シーケンスストア名** - このストアの一意の名前。
+ **説明** - このシーケンスストアの説明。
+ **S3 のフォールバックの場所**、Amazon S3 の場所を指定します。HealthOmics はフォールバックの場所を使用して、直接アップロード中に読み取りセットの作成に失敗したファイルを保存します。
+ **S3 伝達のリードセットタグキー**は、Amazon S3 に伝達するために最大 5 つのリードセットキーを入力できます。
+ (オプション) **S3 アクセスログ記録**では、Amazon S3 がアクセスログレコードを収集`Enabled`するかどうかを選択します。
**S3 のアクセスログの場所**で、ログを保存する Amazon S3 の場所を指定します。このフィールドは、S3 アクセスログ記録を有効にした場合にのみ表示されます。
+ **タグ** (オプション) - このシーケンスストアには最大 50 個のタグを指定します。
## シーケンスストアのリードセットタグの更新
シーケンスストアの読み取りセットタグやその他のフィールドを更新するには、次の手順に従います。
1. [HealthOmics コンソール](https://console.aws.amazon.com/omics/)を開きます。
1. 必要に応じて、左側のナビゲーションペイン (≡) を開きます。**シーケンスストア**を選択します。
1. 更新するシーケンスストアを選択します。
1. **[詳細]** タブを選択します。
1. **[編集]** を選択します。
1. 必要に応じて、新しいリードセットタグを追加するか、既存のタグを削除します。
1. 必要に応じて、名前、説明、フォールバックの場所、または S3 データアクセスを更新します。
1. **[Save changes]** (変更の保存) をクリックします。
## ゲノムファイルのインポート
ゲノムファイルをシーケンスストアにインポートするには、次の手順に従います。
**ゲノミクスファイルをインポートするには**
1. [HealthOmics コンソール](https://console.aws.amazon.com/omics/)を開きます。
1. 必要に応じて、左側のナビゲーションペイン (≡) を開きます。**シーケンスストア**を選択します。
1. **シーケンスストア**ページで、ファイルをインポートするシーケンスストアを選択します。
1. 個々のシーケンスストアページで、**ゲノムファイルのインポート**を選択します。
1. **インポートの詳細の指定**ページで、次の情報を入力します。
+ **IAM ロール** - Amazon S3 のゲノムファイルにアクセスできる IAM ロール。
+ **参照ゲノム** - このゲノムデータの参照ゲノム。
1. **インポートマニフェストを指定**ページで、次の情報**マニフェストファイル**を指定します。マニフェストファイルは、ゲノミクスデータの重要な情報を記述する JSON または YAML ファイルです。マニフェストファイルの詳細については、「」を参照してください[HealthOmics シーケンスストアへの読み取りセットのインポート](import-sequence-store.md)。
1. **インポートジョブの作成** をクリックします。
# HealthOmics リファレンスストアとシーケンスストアの削除
リファレンスストアとシーケンスストアの両方を削除できます。シーケンスストアはリードセットが含まれていない場合にのみ削除でき、リファレンスストアはリファレンスが含まれていない場合にのみ削除できます。シーケンスまたはリファレンスストアを削除すると、そのストアに関連付けられたタグも削除されます。
次の例は、 を使用してリファレンスストアを削除する方法を示しています AWS CLI。アクションが成功すると、レスポンスは受信されません。次の例では、 をリファレンスストア ID `reference store ID` に置き換えます。
```
aws omics delete-reference-store --id reference store ID
```
次の例は、シーケンスストアを削除する方法を示しています。アクションが成功した場合、レスポンスは受信されません。次の例では、 をシーケンスストア ID `sequence store ID` に置き換えます。
```
aws omics delete-sequence-store --id sequence store ID
```
次の例に示すように、リファレンスストアのリファレンスを削除することもできます。リファレンスは、読み取りセット、バリアントストア、または注釈ストアで使用されていない場合にのみ削除できます。次の例では、 をリファレンスストア ID `reference store ID`に置き換え、 を削除するリファレンスの ID `reference ID`に置き換えます。
```
aws omics delete-reference --id reference ID --reference-store-id reference store ID
```
# HealthOmics シーケンスストアへの読み取りセットのインポート
シーケンスストアを作成したら、インポートジョブを作成して、読み取りセットをデータストアにアップロードします。Amazon S3 バケットからファイルをアップロードすることも、同期 API オペレーションを使用して直接アップロードすることもできます。Amazon S3 バケットは、シーケンスストアと同じリージョンにある必要があります。
アライメントされたリードセットとアライメントされていないリードセットの任意の組み合わせをシーケンスストアにアップロードできますが、インポート内のリードセットのいずれかがアライメントされている場合は、参照ゲノムを含める必要があります。
リファレンスストアの作成に使用した IAM アクセスポリシーを再利用できます。
以下のトピックでは、シーケンスストアに読み取りセットをインポートし、インポートされたデータに関する情報を取得するために実行する主要なステップについて説明します。
**Topics**
+ [Amazon S3 にファイルをアップロードする](#upload-files-to-s3)
+ [マニフェストファイルの作成](#create-manifest-file)
+ [インポートジョブの開始](#start-import-job)
+ [インポートジョブをモニタリングする](#monitor-import-job)
+ [インポートされたシーケンスファイルを検索する](#list-read-sets)
+ [読み取りセットの詳細を取得する](#get-read-set-metadata)
+ [リードセットデータファイルをダウンロードする](#get-read-set-data)
## Amazon S3 にファイルをアップロードする
次の例は、Amazon S3 バケットにファイルを移動する方法を示しています。
```
aws s3 cp s3://1000genomes/phase1/data/HG00100/alignment/HG00100.chrom20.ILLUMINA.bwa.GBR.low_coverage.20101123.bam s3://your-bucket
aws s3 cp s3://1000genomes/phase3/data/HG00146/sequence_read/SRR233106_1.filt.fastq.gz s3://your-bucket
aws s3 cp s3://1000genomes/phase3/data/HG00146/sequence_read/SRR233106_2.filt.fastq.gz s3://your-bucket
aws s3 cp s3://1000genomes/data/HG00096/alignment/HG00096.alt_bwamem_GRCh38DH.20150718.GBR.low_coverage.cram s3://your-bucket
aws s3 cp s3://gatk-test-data/wgs_ubam/NA12878_20k/NA12878_A.bam s3://your-bucket
```
この例`CRAM`で使用されるサンプル `BAM`と には、異なるゲノム参照 `Hg19`と が必要です`Hg38`。詳細について、またはこれらのリファレンスにアクセスするには、「 のオープンデータレジストリ」の[「The Broad Genome References](https://registry.opendata.aws/broad-references/)」を参照してください AWS。
## マニフェストファイルの作成
また、インポートジョブをモデル化するには、JSON でマニフェストファイルを作成する必要があります `import.json` (次の例を参照）。コンソールでシーケンスストアを作成する場合、 `sequenceStoreId`または を指定する必要がないため`roleARN`、マニフェストファイルは`sources`入力で始まります。
------
#### [ API manifest ]
次の例では、 API を使用して 3 つの読み取りセットをインポートします。1 つは `FASTQ`、1 つは `BAM`、1 つは です`CRAM`。
```
{
"sequenceStoreId": "3936421177",
"roleArn": "arn:aws:iam::555555555555:role/OmicsImport",
"sources":
[
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/HG00100.chrom20.ILLUMINA.bwa.GBR.low_coverage.20101123.bam"
},
"sourceFileType": "BAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"referenceArn": "arn:aws:omics:us-west-2:555555555555:referenceStore/0123456789/reference/0000000001",
"name": "HG00100",
"description": "BAM for HG00100",
"generatedFrom": "1000 Genomes"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/SRR233106_1.filt.fastq.gz",
"source2": "s3://amzn-s3-demo-bucket/SRR233106_2.filt.fastq.gz"
},
"sourceFileType": "FASTQ",
"subjectId": "mySubject",
"sampleId": "mySample",
// NOTE: there is no reference arn required here
"name": "HG00146",
"description": "FASTQ for HG00146",
"generatedFrom": "1000 Genomes"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/HG00096.alt_bwamem_GRCh38DH.20150718.GBR.low_coverage.cram"
},
"sourceFileType": "CRAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"referenceArn": "arn:aws:omics:us-west-2:555555555555:referenceStore/0123456789/reference/0000000001",
"name": "HG00096",
"description": "CRAM for HG00096",
"generatedFrom": "1000 Genomes"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/NA12878_A.bam"
},
"sourceFileType": "UBAM",
"subjectId": "mySubject",
"sampleId": "mySample",
// NOTE: there is no reference arn required here
"name": "NA12878_A",
"description": "uBAM for NA12878",
"generatedFrom": "GATK Test Data"
}
]
}
```
------
#### [ Console manifest ]
このサンプルコードは、 コンソールを使用して単一の読み取りセットをインポートするために使用されます。
```
[
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/HG00100.chrom20.ILLUMINA.bwa.GBR.low_coverage.20101123.bam"
},
"sourceFileType": "BAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"name": "HG00100",
"description": "BAM for HG00100",
"generatedFrom": "1000 Genomes"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/SRR233106_1.filt.fastq.gz",
"source2": "s3://amzn-s3-demo-bucket/SRR233106_2.filt.fastq.gz"
},
"sourceFileType": "FASTQ",
"subjectId": "mySubject",
"sampleId": "mySample",
"name": "HG00146",
"description": "FASTQ for HG00146",
"generatedFrom": "1000 Genomes"
},
{
"sourceFiles":
{
"source1": "s3://your-bucket/HG00096.alt_bwamem_GRCh38DH.20150718.GBR.low_coverage.cram"
},
"sourceFileType": "CRAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"name": "HG00096",
"description": "CRAM for HG00096",
"generatedFrom": "1000 Genomes"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/NA12878_A.bam"
},
"sourceFileType": "UBAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"name": "NA12878_A",
"description": "uBAM for NA12878",
"generatedFrom": "GATK Test Data"
}
]
```
------
または、マニフェストファイルを YAML 形式でアップロードすることもできます。
## インポートジョブの開始
インポートジョブを開始するには、次の AWS CLI コマンドを使用します。
```
aws omics start-read-set-import-job --cli-input-json file://import.json
```
ジョブが正常に作成されたことを示す次のレスポンスが表示されます。
```
{
"id": "3660451514",
"sequenceStoreId": "3936421177",
"roleArn": "arn:aws:iam::111122223333:role/OmicsImport",
"status": "CREATED",
"creationTime": "2022-07-13T22:14:59.309Z"
}
```
## インポートジョブをモニタリングする
インポートジョブが開始されたら、次のコマンドを使用してその進行状況をモニタリングできます。次の例では、 をシーケンスストア ID `sequence store id`に置き換え、 をインポート ID `job import ID` に置き換えます。
```
aws omics get-read-set-import-job --sequence-store-id sequence store id --id job import ID
```
以下は、指定されたシーケンスストア ID に関連付けられているすべてのインポートジョブのステータスを示しています。
```
{
"id": "1234567890",
"sequenceStoreId": "1234567890",
"roleArn": "arn:aws:iam::111122223333:role/OmicsImport",
"status": "RUNNING",
"statusMessage": "The job is currently in progress.",
"creationTime": "2022-07-13T22:14:59.309Z",
"sources": [
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/HG00100.chrom20.ILLUMINA.bwa.GBR.low_coverage.20101123.bam"
},
"sourceFileType": "BAM",
"status": "IN_PROGRESS",
"statusMessage": "The job is currently in progress."
"subjectId": "mySubject",
"sampleId": "mySample",
"referenceArn": "arn:aws:omics:us-west-2:111122223333:referenceStore/3242349265/reference/8625408453",
"name": "HG00100",
"description": "BAM for HG00100",
"generatedFrom": "1000 Genomes",
"readSetID": "1234567890"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/SRR233106_1.filt.fastq.gz",
"source2": "s3://amzn-s3-demo-bucket/SRR233106_2.filt.fastq.gz"
},
"sourceFileType": "FASTQ",
"status": "IN_PROGRESS",
"statusMessage": "The job is currently in progress."
"subjectId": "mySubject",
"sampleId": "mySample",
"name": "HG00146",
"description": "FASTQ for HG00146",
"generatedFrom": "1000 Genomes",
"readSetID": "1234567890"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/HG00096.alt_bwamem_GRCh38DH.20150718.GBR.low_coverage.cram"
},
"sourceFileType": "CRAM",
"status": "IN_PROGRESS",
"statusMessage": "The job is currently in progress."
"subjectId": "mySubject",
"sampleId": "mySample",
"referenceArn": "arn:aws:omics:us-west-2:111122223333:referenceStore/3242349265/reference/1234568870",
"name": "HG00096",
"description": "CRAM for HG00096",
"generatedFrom": "1000 Genomes",
"readSetID": "1234567890"
},
{
"sourceFiles":
{
"source1": "s3://amzn-s3-demo-bucket/NA12878_A.bam"
},
"sourceFileType": "UBAM",
"status": "IN_PROGRESS",
"statusMessage": "The job is currently in progress."
"subjectId": "mySubject",
"sampleId": "mySample",
"name": "NA12878_A",
"description": "uBAM for NA12878",
"generatedFrom": "GATK Test Data",
"readSetID": "1234567890"
}
]
}
```
## インポートされたシーケンスファイルを検索する
ジョブが完了したら、**list-read-sets** API オペレーションを使用して、インポートされたシーケンスファイルを検索できます。次の例では、 をシーケンスストア ID `sequence store id` に置き換えます。
```
aws omics list-read-sets --sequence-store-id sequence store id
```
次のレスポンスが表示されます。
```
{
"readSets": [
{
"id": "0000000001",
"arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/01234567890/readSet/0000000001",
"sequenceStoreId": "1234567890",
"subjectId": "mySubject",
"sampleId": "mySample",
"status": "ACTIVE",
"name": "HG00100",
"description": "BAM for HG00100",
"referenceArn": "arn:aws:omics:us-west-2:111122223333:referenceStore/01234567890/reference/0000000001",
"fileType": "BAM",
"sequenceInformation": {
"totalReadCount": 9194,
"totalBaseCount": 928594,
"generatedFrom": "1000 Genomes",
"alignment": "ALIGNED"
},
"creationTime": "2022-07-13T23:25:20Z"
"creationType": "IMPORT",
"etag": {
"algorithm": "BAM_MD5up",
"source1": "d1d65429212d61d115bb19f510d4bd02"
}
},
{
"id": "0000000002",
"arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/0123456789/readSet/0000000002",
"sequenceStoreId": "0123456789",
"subjectId": "mySubject",
"sampleId": "mySample",
"status": "ACTIVE",
"name": "HG00146",
"description": "FASTQ for HG00146",
"fileType": "FASTQ",
"sequenceInformation": {
"totalReadCount": 8000000,
"totalBaseCount": 1184000000,
"generatedFrom": "1000 Genomes",
"alignment": "UNALIGNED"
},
"creationTime": "2022-07-13T23:26:43Z"
"creationType": "IMPORT",
"etag": {
"algorithm": "FASTQ_MD5up",
"source1": "ca78f685c26e7cc2bf3e28e3ec4d49cd"
}
},
{
"id": "0000000003",
"arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/0123456789/readSet/0000000003",
"sequenceStoreId": "0123456789",
"subjectId": "mySubject",
"sampleId": "mySample",
"status": "ACTIVE",
"name": "HG00096",
"description": "CRAM for HG00096",
"referenceArn": "arn:aws:omics:us-west-2:111122223333:referenceStore/0123456789/reference/0000000001",
"fileType": "CRAM",
"sequenceInformation": {
"totalReadCount": 85466534,
"totalBaseCount": 24000004881,
"generatedFrom": "1000 Genomes",
"alignment": "ALIGNED"
},
"creationTime": "2022-07-13T23:30:41Z"
"creationType": "IMPORT",
"etag": {
"algorithm": "CRAM_MD5up",
"source1": "66817940f3025a760e6da4652f3e927e"
}
},
{
"id": "0000000004",
"arn": "arn:aws:omics:us-west-2:111122223333:sequenceStore/0123456789/readSet/0000000004",
"sequenceStoreId": "0123456789",
"subjectId": "mySubject",
"sampleId": "mySample",
"status": "ACTIVE",
"name": "NA12878_A",
"description": "uBAM for NA12878",
"fileType": "UBAM",
"sequenceInformation": {
"totalReadCount": 20000,
"totalBaseCount": 5000000,
"generatedFrom": "GATK Test Data",
"alignment": "ALIGNED"
},
"creationTime": "2022-07-13T23:30:41Z"
"creationType": "IMPORT",
"etag": {
"algorithm": "BAM_MD5up",
"source1": "640eb686263e9f63bcda12c35b84f5c7"
}
}
]
}
```
## 読み取りセットの詳細を取得する
読み取りセットの詳細については、**GetReadSetMetadata** API オペレーションを使用します。次の例では、 をシーケンスストア ID `sequence store id`に置き換え、 を読み取りセット ID `read set id` に置き換えます。
```
aws omics get-read-set-metadata --sequence-store-id sequence store id --id read set id
```
次のレスポンスが表示されます。
```
{
"arn": "arn:aws:omics:us-west-2:123456789012:sequenceStore/2015356892/readSet/9515444019",
"creationTime": "2024-01-12T04:50:33.548Z",
"creationType": "IMPORT",
"creationJobId": "33222111",
"description": null,
"etag": {
"algorithm": "FASTQ_MD5up",
"source1": "00d0885ba3eeb211c8c84520d3fa26ec",
"source2": "00d0885ba3eeb211c8c84520d3fa26ec"
},
"fileType": "FASTQ",
"files": {
"index": null,
"source1": {
"contentLength": 10818,
"partSize": 104857600,
"s3Access": {
"s3Uri": "s3://accountID-sequence store ID-ajdpi90jdas90a79fh9a8ja98jdfa9jf98-s3alias/592761533288/sequenceStore/2015356892/readSet/9515444019/import_source1.fastq.gz"
},
"totalParts": 1
},
"source2": {
"contentLength": 10818,
"partSize": 104857600,
"s3Access": {
"s3Uri": "s3://accountID-sequence store ID-ajdpi90jdas90a79fh9a8ja98jdfa9jf98-s3alias/592761533288/sequenceStore/2015356892/readSet/9515444019/import_source1.fastq.gz"
},
"totalParts": 1
}
},
"id": "9515444019",
"name": "paired-fastq-import",
"sampleId": "sampleId-paired-fastq-import",
"sequenceInformation": {
"alignment": "UNALIGNED",
"generatedFrom": null,
"totalBaseCount": 30000,
"totalReadCount": 200
},
"sequenceStoreId": "2015356892",
"status": "ACTIVE",
"statusMessage": null,
"subjectId": "subjectId-paired-fastq-import"
}
```
## リードセットデータファイルをダウンロードする
Amazon S3 API オペレーションを使用して、アクティブな読み取りセットのオブジェクトにアクセスできます。 **GetObject**オブジェクトの URI は **GetReadSetMetadata** API レスポンスで返されます。詳細については、「[Amazon S3 URIs を使用した HealthOmics リードセットへのアクセス](s3-access.md)」を参照してください。
または、HealthOmics **GetReadSet** API オペレーションを使用します。個々のパートをダウンロードすることで、 **GetReadSet**を使用して並行してダウンロードできます。これらのパートは Amazon S3 のパートと似ています。以下は、読み取りセットからパート 1 をダウンロードする方法の例です。次の例では、 をシーケンスストア ID `sequence store id`に置き換え、 を読み取りセット ID `read set id` に置き換えます。
```
aws omics get-read-set --sequence-store-id sequence store id --id read set id --part-number 1 outfile.bam
```
HealthOmics Transfer Manager を使用して、HealthOmics リファレンスまたはリードセットのファイルをダウンロードすることもできます。HealthOmics Transfer Manager はこちらからダウンロードできます[https://pypi.org/project/amazon-omics-tools/](https://pypi.org/project/amazon-omics-tools/)。Transfer Manager の使用と設定の詳細については、この [GitHub リポジトリ](https://github.com/awslabs/amazon-omics-tools/)を参照してください。
# HealthOmics シーケンスストアへの直接アップロード
HealthOmics Transfer Manager を使用して、シーケンスストアにファイルを追加することをお勧めします。Transfer Manager の使用の詳細については、この [GitHub リポジトリ](https://github.com/awslabs/amazon-omics-tools/)を参照してください。直接アップロード API オペレーションを使用して、読み取りセットをシーケンスストアに直接アップロードすることもできます。
直接アップロードの読み取りセットは、 `PROCESSING_UPLOAD` 状態で最初に存在します。つまり、ファイルパーツは現在アップロード中であり、読み取りセットメタデータにアクセスできます。パートがアップロードされ、チェックサムが検証されると、読み取りセットは になり、インポートされた読み取りセットと同じように`ACTIVE`動作します。
直接アップロードが失敗した場合、読み取りセットのステータスは と表示されます`UPLOAD_FAILED`。アップロードに失敗したファイルのフォールバックの場所として Amazon S3 バケットを設定できます。フォールバックロケーションは、2023 年 5 月 15 日以降に作成されたシーケンスストアで利用できます。
**Topics**
+ [を使用してシーケンスストアに直接アップロードする AWS CLI](#synchronous-uploads-api)
+ [フォールバックの場所を設定する](#synchronous-uploads-fallback)
## を使用してシーケンスストアに直接アップロードする AWS CLI
開始するには、マルチパートアップロードを開始します。これを行うには AWS CLI、次の例に示すように、 を使用します。
**AWS CLI コマンドを使用して直接アップロードするには**
1. 次の例に示すように、データを分離してパートを作成します。
```
split -b 100MiB SRR233106_1.filt.fastq.gz source1_part_
```
1. ソースファイルがパートになったら、次の例に示すように、マルチパートリードセットアップロードを作成します。`sequence store ID` とその他のパラメータをシーケンスストア ID とその他の値に置き換えます。
```
aws omics create-multipart-read-set-upload \
--sequence-store-id sequence store ID \
--name upload name \
--source-file-type FASTQ \
--subject-id subject ID \
--sample-id sample ID \
--description "FASTQ for HG00146" "description of upload" \
--generated-from "1000 Genomes""source of imported files"
```
レスポンスで `uploadID`およびその他のメタデータを取得します。アップロードプロセスの次のステップ`uploadID`には、 を使用します。
```
{
"sequenceStoreId": "1504776472",
"uploadId": "7640892890",
"sourceFileType": "FASTQ",
"subjectId": "mySubject",
"sampleId": "mySample",
"generatedFrom": "1000 Genomes",
"name": "HG00146",
"description": "FASTQ for HG00146",
"creationTime": "2023-11-20T23:40:47.437522+00:00"
}
```
1. 読み取りセットをアップロードに追加します。ファイルが十分に小さい場合は、このステップを 1 回だけ実行する必要があります。大きなファイルの場合は、ファイルの各部分に対してこのステップを実行します。以前に使用したパート番号を使用して新しいパートをアップロードすると、以前にアップロードしたパートが上書きされます。
次の例では、`sequence store ID`、`upload ID`、およびその他のパラメータを値に置き換えます。
```
aws omics upload-read-set-part \
--sequence-store-id sequence store ID \
--upload-id upload ID \
--part-source SOURCE1 \
--part-number part number \
--payload source1/source1_part_aa.fastq.gz
```
レスポンスは、アップロードされたファイルが意図したファイルと一致することを確認するために使用できる ID です。
```
{
"checksum": "984979b9928ae8d8622286c4a9cd8e99d964a22d59ed0f5722e1733eb280e635"
}
```
1. 必要に応じて、ファイルの一部のアップロードを続行します。読み取りセットがアップロードされたことを確認するには、以下に示すように list**list-read-set-upload-parts** API オペレーションを使用します。次の例では、`sequence store ID `、、 `upload ID``part source`を独自の入力に置き換えます。
```
aws omics list-read-set-upload-parts \
--sequence-store-id sequence store ID \
--upload-id upload ID \
--part-source SOURCE1
```
レスポンスは、読み取りセットの数、サイズ、および最後に更新された時刻のタイムスタンプを返します。
```
{
"parts": [
{
"partNumber": 1,
"partSize": 104857600,
"partSource": "SOURCE1",
"checksum": "MVMQk+vB9C3Ge8ADHkbKq752n3BCUzyl41qEkqlOD5M=",
"creationTime": "2023-11-20T23:58:03.500823+00:00",
"lastUpdatedTime": "2023-11-20T23:58:03.500831+00:00"
},
{
"partNumber": 2,
"partSize": 104857600,
"partSource": "SOURCE1",
"checksum": "keZzVzJNChAqgOdZMvOmjBwrOPM0enPj1UAfs0nvRto=",
"creationTime": "2023-11-21T00:02:03.813013+00:00",
"lastUpdatedTime": "2023-11-21T00:02:03.813025+00:00"
},
{
"partNumber": 3,
"partSize": 100339539,
"partSource": "SOURCE1",
"checksum": "TBkNfMsaeDpXzEf3ldlbi0ipFDPaohKHyZ+LF1J4CHk=",
"creationTime": "2023-11-21T00:09:11.705198+00:00",
"lastUpdatedTime": "2023-11-21T00:09:11.705208+00:00"
}
]
}
```
1. アクティブなマルチパートリードセットのアップロードをすべて表示するには、以下に示すように **list-multipart-read-set-uploads** を使用します。を独自のシーケンスストアの ID `sequence store ID`に置き換えます。
```
aws omics list-multipart-read-set-uploads --sequence-store-id
sequence store ID
```
この API は、進行中のマルチパートリードセットアップロードのみを返します。取り込まれた読み取りセットが になった後`ACTIVE`、またはアップロードが失敗した場合、アップロードは **list-multipart-read-set-uploads** API へのレスポンスでは返されません。アクティブな読み取りセットを表示するには、**list-read-sets** API を使用します。**list-multipart-read-set-uploads** のレスポンスの例を以下に示します。
```
{
"uploads": [
{
"sequenceStoreId": "1234567890",
"uploadId": "8749584421",
"sourceFileType": "FASTQ",
"subjectId": "mySubject",
"sampleId": "mySample",
"generatedFrom": "1000 Genomes",
"name": "HG00146",
"description": "FASTQ for HG00146",
"creationTime": "2023-11-29T19:22:51.349298+00:00"
},
{
"sequenceStoreId": "1234567890",
"uploadId": "5290538638",
"sourceFileType": "BAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"generatedFrom": "1000 Genomes",
"referenceArn": "arn:aws:omics:us-west-2:123456789012:referenceStore/8168613728/reference/2190697383",
"name": "HG00146",
"description": "BAM for HG00146",
"creationTime": "2023-11-29T19:23:33.116516+00:00"
},
{
"sequenceStoreId": "1234567890",
"uploadId": "4174220862",
"sourceFileType": "BAM",
"subjectId": "mySubject",
"sampleId": "mySample",
"generatedFrom": "1000 Genomes",
"referenceArn": "arn:aws:omics:us-west-2:123456789012:referenceStore/8168613728/reference/2190697383",
"name": "HG00147",
"description": "BAM for HG00147",
"creationTime": "2023-11-29T19:23:47.007866+00:00"
}
]
}
```
1. ファイルのすべての部分をアップロードしたら、次の例に示すように、**complete-multipart-read-set-upload** を使用してアップロードプロセスを完了します。パートの `sequence store ID`、`upload ID`、および パラメータを独自の値に置き換えます。
```
aws omics complete-multipart-read-set-upload \
--sequence-store-id sequence store ID \
--upload-id upload ID \
--parts '[{"checksum":"gaCBQMe+rpCFZxLpoP6gydBoXaKKDA/Vobh5zBDb4W4=","partNumber":1,"partSource":"SOURCE1"}]'
```
**complete-multipart-read-set-upload** のレスポンスは、インポートされたリードセットIDs です。
```
{
"readSetId": "0000000001"
}
```
1. アップロードを停止するには、アップロード ID で **abort-multipart-read-set-upload** を使用してアップロードプロセスを完了します。`sequence store ID` と を独自のパラメータ値`upload ID`に置き換えます。
```
aws omics abort-multipart-read-set-upload \
--sequence-store-id sequence store ID \
--upload-id upload ID
```
1. アップロードが完了したら、次に示すように **get-read-set** を使用して読み取りセットからデータを取得します。アップロードがまだ処理中の場合、**get-read-set** は制限されたメタデータを返し、生成されたインデックスファイルは使用できなくなります。`sequence store ID` と他のパラメータを独自の入力に置き換えます。
```
aws omics get-read-set
--sequence-store-id sequence store ID \
--id read set ID \
--file SOURCE1 \
--part-number 1 myfile.fastq.gz
```
1. アップロードのステータスを含むメタデータを確認するには、**get-read-set-metadata** API オペレーションを使用します。
```
aws omics get-read-set-metadata --sequence-store-id sequence store ID --id read set ID
```
レスポンスには、ファイルタイプ、リファレンス ARN、ファイル数、シーケンスの長さなどのメタデータの詳細が含まれます。また、 ステータスも含まれます。可能なステータスは、`PROCESSING_UPLOAD`、`ACTIVE`、および です`UPLOAD_FAILED`。
```
{
"id": "0000000001",
"arn": "arn:aws:omics:us-west-2:555555555555:sequenceStore/0123456789/readSet/0000000001",
"sequenceStoreId": "0123456789",
"subjectId": "mySubject",
"sampleId": "mySample",
"status": "PROCESSING_UPLOAD",
"name": "HG00146",
"description": "FASTQ for HG00146",
"fileType": "FASTQ",
"creationTime": "2022-07-13T23:25:20Z",
"files": {
"source1": {
"totalParts": 5,
"partSize": 123456789012,
"contentLength": 6836725,
},
"source2": {
"totalParts": 5,
"partSize": 123456789056,
"contentLength": 6836726
}
},
'creationType": "UPLOAD"
}
```
## フォールバックの場所を設定する
シーケンスストアを作成または更新するときに、アップロードに失敗したファイルのフォールバックの場所として Amazon S3 バケットを設定できます。これらの読み取りセットのファイル部分は、フォールバックの場所に転送されます。フォールバックロケーションは、2023 年 5 月 15 日以降に作成されたシーケンスストアで利用できます。
次の例に示すように、Amazon S3 バケットポリシーを作成して、Amazon S3 フォールバックロケーションへの書き込みアクセスを HealthOmics に付与します。 Amazon S3
```
{
"Effect": "Allow",
"Principal": {
"Service": "omics.amazonaws.com"
},
"Action": "s3:PutObject",
"Resource": "arn:aws:s3:::amzn-s3-demo-bucket/*"
}
```
フォールバックログまたはアクセスログの Amazon S3 バケットがカスタマーマネージドキーを使用している場合は、キーポリシーに次のアクセス許可を追加します。
```
{
"Sid": "Allow use of key",
"Effect": "Allow",
"Principal": {
"Service": "omics.amazonaws.com"
},
"Action": [
"kms:Decrypt",
"kms:GenerateDataKey*"
],
"Resource": "*"
}
```
# HealthOmics リードセットを Amazon S3 バケットにエクスポートする
読み取りセットをバッチエクスポートジョブとして Amazon S3 バケットにエクスポートできます。そのためには、まず、次の IAM ポリシーの例のように、バケットへの書き込みアクセス権を持つ IAM ポリシーを作成します。
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::amzn-s3-demo-bucket1",
"arn:aws:s3:::amzn-s3-demo-bucket1/*"
]
}
]
}
```
------
------
#### [ JSON ]
****
```
{
"Version":"2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Principal": {
"Service": [
"omics.amazonaws.com"
]
},
"Action": "sts:AssumeRole"
}
]
}
```
------
IAM ポリシーが設定されたら、読み取りセットのエクスポートジョブを開始します。次の例は、**start-read-set-export-job** API オペレーションを使用してこれを行う方法を示しています。次の例では、、、、 `sequence store ID` `destination` などのすべてのパラメータを入力`role ARN``sources`に置き換えます。
```
aws omics start-read-set-export-job
--sequence-store-id sequence store id \
--destination valid s3 uri \
--role-arn role ARN \
--sources readSetId=read set id_1 readSetId=read set id_2
```
オリジンシーケンスストアと送信先 Amazon S3 バケットに関する情報を含む次のレスポンスを受け取ります。
```
{
"id": ,
"sequenceStoreId": ,
"destination": ,
"status": "SUBMITTED",
"creationTime": "2022-10-22T01:33:38.079000+00:00"
}
```
ジョブの開始後、次に示すように **get-read-set-export-job** API オペレーションを使用して、ジョブのステータスを確認できます。`sequence store ID` と をそれぞれシーケンスストア ID とジョブ ID `job ID`に置き換えます。
```
aws omics get-read-set-export-job --id job-id --sequence-store-id sequence store ID
```
次に示すように、**list-read-set-export-jobs API **オペレーションを使用して、シーケンスストア用に初期化されたすべてのエクスポートジョブを表示できます。をシーケンスストア ID `sequence store ID`に置き換えます。
```
aws omics list-read-set-export-jobs --sequence-store-id sequence store ID.
```
```
{
"exportJobs": [
{
"id": ,
"sequenceStoreId": ,
"destination": ,
"status": "COMPLETED",
"creationTime": "2022-10-22T01:33:38.079000+00:00",
"completionTime": "2022-10-22T01:34:28.941000+00:00"
}
]
}
```
読み取りセットのエクスポートに加えて、Amazon S3 アクセス URIs を使用して共有することもできます。詳細については[Amazon S3 URIs を使用した HealthOmics リードセットへのアクセス](s3-access.md)を参照してください。
# Amazon S3 URIs を使用した HealthOmics リードセットへのアクセス
Amazon S3 URI パスを使用して、アクティブなシーケンスストアの読み取りセットにアクセスできます。
Amazon S3 URI パスを使用すると、Amazon S3 オペレーションを使用して読み取りセットを一覧表示、共有、ダウンロードできます。S3 APIs高速化します。 S3 さらに、S3 APIs へのアクセスを他のアカウントと共有し、データへのクロスリージョン読み取りアクセスを提供できます。
HealthOmics は、アーカイブされた読み取りセットへの Amazon S3 URI アクセスをサポートしていません。読み取りセットをアクティブ化すると、毎回同じ URI パスに復元されます。
HealthOmics ストアにデータがロードされると、Amazon S3 URI は Amazon S3 アクセスポイントに基づいているため、次のような Amazon S3 URIs を読み取る業界標準ツールと直接統合できます。
+ Integrative Genomics Viewer (IGV) や UCSC Genome Browser などのビジュアル分析アプリケーション。
+ CWL、WDL、Nextflow などの Amazon S3 拡張機能を使用した一般的なワークフロー。
+ アクセスポイントの Amazon S3 URIs の認証と読み取り、または署名付き Amazon S3 URI の読み取りが可能な任意のツール。 URIs
+ Mountpoint や CloudFront などの Amazon S3 ユーティリティ。
Amazon S3 Mountpoint を使用すると、Amazon S3 バケットをローカルファイルシステムとして使用できます。Mountpoint の詳細については、「[Mountpoint for Amazon S3](https://github.com/awslabs/mountpoint-s3)」を参照してください。
Amazon CloudFront は、高いパフォーマンス、セキュリティ、開発者の利便性を実現するために構築されたコンテンツ配信ネットワーク (CDN) サービスです。Amazon CloudFront の使用の詳細については、[Amazon CloudFront ドキュメント](https://docs.aws.amazon.com/cloudfront/)を参照してください。シーケンスストアで CloudFront を設定するには、 AWS HealthOmics チームにお問い合わせください。
データ所有者のルートアカウントは、シーケンスストアプレフィックスのアクション S3:GetObject、S3:GetObjectTagging、S3:List Bucket に対して有効になっています。アカウントのユーザーがデータにアクセスするには、IAM ポリシーを作成し、ユーザーまたはロールにアタッチします。ポリシーの例については「[Amazon S3 URIs を使用したデータアクセスのアクセス許可](s3-sharing.md)」を参照してください。
アクティブな読み取りセットで次の Amazon S3 API オペレーションを使用して、データを一覧表示および取得できます。アーカイブされたリードセットは、アクティブ化された後に Amazon S3 URIs を介してアクセスできます。
+ [GetObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_GetObject.html) — Amazon S3 からオブジェクトを取得します。
+ [HeadObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_HeadObject.html.html) — HEAD オペレーションは、オブジェクト自体を返すことなく、オブジェクトからメタデータを取得します。このオペレーションは、オブジェクトのメタデータのみが必要な場合に便利です。
+ [ListObjects および ListObject v2](https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjects.html) — バケット内のオブジェクトの一部またはすべて (最大 1,000) を返します。
+ [CopyObject](https://docs.aws.amazon.com/AmazonS3/latest/API/API_CopyObject.html) — Amazon S3 に既に保存されているオブジェクトのコピーを作成します。HealthOmics は Amazon S3 アクセスポイントへのコピーをサポートしていますが、アクセスポイントへの書き込みはサポートしていません。
HealthOmics シーケンスストアは、ETags を通じてファイルのセマンティックアイデンティティを維持します。ファイルのライフサイクル全体を通して、ビット単位のアイデンティティに基づく Amazon S3 ETag は変更される可能性がありますが、HealthOmics ETag は変わりません。詳細については[HealthOmics ETags とデータ出所](etags-and-provenance.md)を参照してください。
**Topics**
+ [HealthOmics ストレージの Amazon S3 URI 構造](#s3-uri-structure)
+ [ホスト型またはローカル IGV を使用した読み取りセットへのアクセス](#s3-access-igv)
+ [HealthOmics での Samtools または HTSlib の使用 HealthOmics](#s3-access-Samtools)
+ [Mountpoint HealthOmics の使用](#s3-access-Mountpoint)
+ [HealthOmics での CloudFront の使用](#s3-access-CloudFront)
## HealthOmics ストレージの Amazon S3 URI 構造
Amazon S3 URIsには、 `omics:subjectId` および `omics:sampleId`リソースタグがあります。これらのタグを使用して、 などのパターンで IAM ポリシーを使用してアクセスを共有できます`"s3:ExistingObjectTag/omics:subjectId": "pattern desired"`。
ファイル構造は次のとおりです。
`.../account_id/sequenceStore/seq_store_id/readSet/read_set_id/files.`
Amazon S3 からシーケンスストアにインポートされたファイルの場合、シーケンスストアは元のソース名を維持しようとします。名前が競合すると、システムは読み込みセット情報を追加して、ファイル名が一意であることを確認します。例えば、fastq 読み取りセットの場合、両方のファイル名が同じであれば、名前を一意にするために、 `sourceX`は .fastq.gz または .fq.gz の前に挿入されます。直接アップロードの場合、ファイル名は次のパターンに従います。
+ FASTQ の場合 — *read\$1set\$1name*\$1*sourcex*.fastq.gz
+ uBAM/BAM/CRAM の場合 — *read\$1set\$1name*.*file 拡張子*。拡張子は `.bam`または です`.cram`。例は `NA193948.bam` です。
BAM または CRAM のリードセットの場合、インデックスファイルは取り込みプロセス中に自動的に生成されます。生成されたインデックスファイルには、ファイル名の末尾に適切なインデックス拡張子が適用されます。パターン <*インデックスがオンになっているソースの名前>.<ファイルインデックス拡張子> があります。*インデックス拡張子は `.bai`または です`.crai`。
## ホスト型またはローカル IGV を使用した読み取りセットへのアクセス
IGV は、BAM ファイルと CRAM ファイルを分析するために使用されるゲノムブラウザです。一度にゲノムの一部しか表示されないため、 ファイルとインデックスの両方が必要です。IGV はローカルでダウンロードして使用でき、AWS がホストする IGV を作成するガイドがあります。CORS が必要なため、パブリックウェブバージョンはサポートされていません。
ローカル IGV は、ファイルにアクセスするためにローカル AWS 設定に依存します。その設定で使用されるロールに、アクセスするリードセットの s3 URI に対する kms:Decrypt および s3:GetObject アクセス許可を有効にするポリシーがアタッチされていることを確認します。その後、IGV で「ファイル > URL からのロード」を使用して、ソースとインデックスの URI に貼り付けることができます。または、署名付き URLsを生成して同じ方法で使用することもできます。これにより、AWS 設定がバイパスされます。CORS は Amazon S3 URI アクセスではサポートされていないため、CORS に依存するリクエストはサポートされていないことに注意してください。
AWS ホスト型 IGV の例では、AWS Cognito を使用して環境内で正しい設定とアクセス許可を作成します。アクセスするリードセットの Amazon S3 URI に対する kms:Decrypt および s3:GetObject アクセス許可を有効にするポリシーが作成されていることを確認し、このポリシーを Cognito ユーザープールに割り当てられたロールに追加します。その後、IGV で「ファイル > URL からのロード」を使用して、ソースとインデックスの URI に と入力できます。または、署名付き URLsを生成して同じ方法で使用して、AWS 設定をバイパスすることもできます。
シーケンスストアは「Amazon」タブには表示されないことに注意してください。 は、 AWS プロファイルが設定されているリージョンで、ユーザーが所有するバケットのみを表示するためです。
## HealthOmics での Samtools または HTSlib の使用 HealthOmics
HTSlib は、Samtools、rSamtools、PySam などのいくつかのツールで共有されるコアライブラリです。HTSlib バージョン 1.20 以降を使用して、Amazon S3 アクセスポイントをシームレスにサポートします。HTSlib ライブラリの古いバージョンでは、次の回避策を使用できます。
+ を使用して HTS Amazon S3 ホストの環境変数を設定します。 `export HTS_S3_HOST="s3.region.amazonaws.com"`
+ 使用するファイルの署名済み URL を生成します。BAM または CRAM を使用している場合は、ファイルとインデックスの両方の署名付き URL が生成されていることを確認します。その後、両方のファイルをライブラリで使用できます。
+ Mountpoint を使用して、HTSlib ライブラリを使用しているのと同じ環境にシーケンスストアまたはリードセットプレフィックスをマウントします。ここから、ローカルファイルパスを使用してファイルにアクセスできます。
## Mountpoint HealthOmics の使用
Mountpoint for Amazon S3 は、[Amazon S3 バケットをローカルファイルシステムとしてマウントするためのシンプルで高スループットのファイル](https://aws.amazon.com/blogs/storage/the-inside-story-on-mountpoint-for-amazon-s3-a-high-performance-open-source-file-client/)クライアントです。Mountpoint for Amazon S3 を使用すると、アプリケーションはオープンや読み取りなどのファイルオペレーションを通じて Amazon S3 に保存されているオブジェクトにアクセスできます。Mountpoint for Amazon S3 は、これらのオペレーションを Amazon S3 オブジェクト API コールに自動的に変換するため、アプリケーションはファイルインターフェイスを介して Amazon S3 のエラスティックストレージとスループットにアクセスできます。
Mountpoint のインストール手順を使用して[、Mountpoint をインストール](https://github.com/awslabs/mountpoint-s3/blob/main/doc/INSTALL.md)できます。Mountpoint は、インストールにローカルな AWS プロファイルを使用し、Amazon S3 プレフィックスレベルで動作します。使用するプロファイルに、アクセスするリードセット (複数可) またはシーケンスストアの Amazon S3 URI プレフィックスに対する s3:GetObject、s3:ListBucket、および kms:Decrypt アクセス許可を有効にするポリシーがあることを確認します。その後、次のパスを使用してバケットをマウントできます。
```
mount-s3 access point arn local path to mount --prefix prefix to sequence store or read set --region region
```
## HealthOmics での CloudFront の使用
Amazon CloudFront は、高いパフォーマンス、セキュリティ、開発者の利便性を実現するために構築されたコンテンツ配信ネットワーク (CDN) サービスです。CloudFront を使用するお客様は、サービスチームと協力して CloudFront ディストリビューションを有効にする必要があります。アカウントチームと協力して HealthOmics サービスチームを関与させます。
# HealthOmics での読み取りセットのアクティブ化
次の例 AWS CLIに示すように、**start-read-set-activation-job** API オペレーションまたは を使用してアーカイブされた読み取りセットをアクティブ化できます。`sequence store ID` と をシーケンスストア ID とリードセット ID `read set id`に置き換えます。 IDs
```
aws omics start-read-set-activation-job
--sequence-store-id sequence store ID \
--sources readSetId=read set ID readSetId=read set id_1 read set id_2
```
次に示すように、アクティベーションジョブ情報を含むレスポンスを受け取ります。
```
{
"id": "12345678",
"sequenceStoreId": "1234567890",
"status": "SUBMITTED",
"creationTime": "2022-10-22T00:50:54.670000+00:00"
}
```
アクティベーションジョブが開始されたら、**get-read-set-activation-job** API オペレーションを使用して進行状況をモニタリングできます。以下は、 を使用してアクティベーションジョブのステータス AWS CLI を確認する方法の例です。`job ID` と をそれぞれシーケンスストア ID とジョブ IDs `sequence store ID`に置き換えます。
```
aws omics get-read-set-activation-job --id job ID --sequence-store-id sequence store ID
```
レスポンスは、次に示すように、アクティベーションジョブを要約します。
```
{
"id": 123567890,
"sequenceStoreId": 123467890,
"status": "SUBMITTED",
"statusUpdateReason": "The job is submitted and will start soon.",
"creationTime": "2022-10-22T00:50:54.670000+00:00",
"sources": [
{
"readSetId": ,
"status": "NOT_STARTED",
"statusUpdateReason": "The source is queued for the job."
},
{
"readSetId": ,
"status": "NOT_STARTED",
"statusUpdateReason": "The source is queued for the job."
}
]
}
```
get**get-read-set-metadata**オペレーションを使用して、アクティベーションジョブのステータスを確認できます。可能なステータスは、`ACTIVE`、`ACTIVATING`、および です`ARCHIVED`。次の例では、 をシーケンスストア ID `sequence store ID`に置き換え、 を読み取りセット ID `read set ID` に置き換えます。
```
aws omics get-read-set-metadata --sequence-store-id sequence store ID --id read set ID
```
次のレスポンスは、読み取りセットがアクティブであることを示しています。
```
{
"id": "12345678",
"arn": "arn:aws:omics:us-west-2:555555555555:sequenceStore/1234567890/readSet/12345678",
"sequenceStoreId": "0123456789",
"subjectId": "mySubject",
"sampleId": "mySample",
"status": "ACTIVE",
"name": "HG00100",
"description": "HG00100 aligned to HG38 BAM",
"fileType": "BAM",
"creationTime": "2022-07-13T23:25:20Z",
"sequenceInformation": {
"totalReadCount": 1513467,
"totalBaseCount": 163454436,
"generatedFrom": "Pulled from SRA",
"alignment": "ALIGNED"
},
"referenceArn": "arn:aws:omics:us-west-2:555555555555:referenceStore/0123456789/reference/0000000001",
"files": {
"source1": {
"totalParts": 2,
"partSize": 10485760,
"contentLength": 17112283,
"s3Access": {
"s3Uri": "s3://accountID-sequence store ID-ajdpi90jdas90a79fh9a8ja98jdfa9jf98-s3alias/592761533288/sequenceStore/2015356892/readSet/9515444019/import_source1.fastq.gz"
},
},
"index": {
"totalParts": 1,
"partSize": 53216,
"contentLength": 10485760
"s3Access": {
"s3Uri": "s3://accountID-sequence store ID-ajdpi90jdas90a79fh9a8ja98jdfa9jf98-s3alias/592761533288/sequenceStore/2015356892/readSet/9515444019/import_source1.fastq.gz"
},
}
},
"creationType": "IMPORT",
"etag": {
"algorithm": "BAM_MD5up",
"source1": "d1d65429212d61d115bb19f510d4bd02"
}
}
```
次の例に示すように、**list-read-set-activation-jobs** を使用してすべてのリードセットアクティベーションジョブを表示できます。次の例では、 をシーケンスストア ID `sequence store ID` に置き換えます。
```
aws omics list-read-set-activation-jobs --sequence-store-id sequence store ID
```
次のレスポンスが表示されます。
```
{
"activationJobs": [
{
"id": 1234657890,
"sequenceStoreId": "1234567890",
"status": "COMPLETED",
"creationTime": "2022-10-22T01:33:38.079000+00:00",
"completionTime": "2022-10-22T01:34:28.941000+00:00"
}
]
}
```