PCS AWS でのネットワークファイルシステムの使用 - AWS PCS
ネットワークファイルシステムを使用する際の考慮事項ネットワークマウントの例

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

PCS AWS でのネットワークファイルシステムの使用

AWS Parallel Computing Service (AWS PCS) コンピューティングノードグループで起動されたノードにネットワークファイルシステムをアタッチして、データとファイルを書き込んでアクセスできる永続的な場所を提供できます。Amazon Elastic File System (Amazon EFS)、Amazon FSx for Lustre、Amazon FSx for NetApp ONTAP、Amazon FSx FSx for OpenZFS、Amazon File Cache など、 AWS のサービスが提供するファイルシステムを使用できます。 https://docs.aws.amazon.com/fsx/latest/FileCacheGuide/what-is.htmlNFS サーバーなどのセルフマネージドファイルシステムを使用することもできます。

このトピックでは、 AWS PCS でネットワークファイルシステムを使用するための考慮事項と例について説明します。

ネットワークファイルシステムを使用する際の考慮事項

さまざまなファイルシステムの実装の詳細は異なりますが、いくつかの一般的な考慮事項があります。

  • 関連するファイルシステムソフトウェアをインスタンスにインストールする必要があります。例えば、Amazon FSx for Lustre を使用するには、適切なLustreパッケージが存在する必要があります。これは、コンピューティングノードグループ AMI に含めるか、インスタンスの起動時に実行されるスクリプトを使用することで実現できます。

  • 共有ネットワークファイルシステムとコンピューティングノードグループインスタンスの間にネットワークルートが必要です。

  • 共有ネットワークファイルシステムとコンピューティングノードグループインスタンスの両方のセキュリティグループルールでは、関連するポートへの接続を許可する必要があります。

  • ファイルシステムにアクセスするリソース全体で、一貫したPOSIXユーザーとグループの名前空間を維持する必要があります。そうしないと、PCS クラスターで実行されるジョブやインタラクティブプロセスでアクセス許可エラーが発生する可能性があります。

  • ファイルシステムのマウントは、EC2起動テンプレートを使用して行われます。ネットワークファイルシステムのマウント時にエラーやタイムアウトが発生すると、インスタンスがジョブを実行できなくなる可能性があります。これにより、予期しないコストが発生する可能性があります。起動テンプレートのデバッグの詳細については、「」を参照してくださいPCS での Amazon EC2 AWS 起動テンプレートの使用。

ネットワークマウントの例

Amazon EFS、Amazon FSx for Lustre、Amazon FSx for NetApp ONTAP、Amazon FSx for OpenZFS、および Amazon File Cache を使用してファイルシステムを作成できます。以下の関連セクションを展開して、各ネットワークマウントの例を確認してください。

ファイルシステムのセットアップ

Amazon EFS ファイルシステムを作成します。PCS コンピューティングノードグループインスタンスを起動する各アベイラビリティーゾーンにマウントターゲットがあることを確認します。また、各マウントターゲットが、PCS コンピューティングノードグループインスタンスからのインバウンドおよびアウトバウンドアクセスを許可するセキュリティグループに関連付けられていることを確認します。詳細については、Amazon Elastic File System ユーザーガイド」の「ターゲットとセキュリティグループのマウント」を参照してください。

起動テンプレート

ファイルシステムのセットアップから、コンピューティングノードグループに使用する起動テンプレートにセキュリティグループ (複数可) を追加します。

Amazon EFS ファイルシステムをマウントするcloud-configメカニズムを使用するユーザーデータを含めます。このスクリプトの次の値を独自の詳細に置き換えます。

  • mount-point-directory – Amazon EFS をマウントする各インスタンスのパス

  • filesystem-id – EFS ファイルシステムのファイルシステム ID

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

ファイルシステムのセットアップ

PCS を使用する VPC AWS に FSx for Lustre ファイルシステムを作成します。ゾーン間転送を最小限に抑えるには、PCS コンピューティングノードグループインスタンスの大部分を起動するのと同じアベイラビリティーゾーンのサブネットに をデプロイします。ファイルシステムが、PCS コンピューティングノードグループインスタンスからのインバウンドおよびアウトバウンドアクセスを許可するセキュリティグループに関連付けられていることを確認します。セキュリティグループの詳細については、「Amazon FSx for Lustre ユーザーガイド」の「Amazon VPC によるファイルシステムのアクセスコントロール」を参照してください。 FSx

起動テンプレート

が FSx for Lustre ファイルシステムをマウントcloud-configするために使用するユーザーデータを含めます。このスクリプトの次の値を独自の詳細に置き換えます。

  • mount-point-directory – FSx for Lustre をマウントするインスタンスのパス

  • filesystem-id – FSx for Lustre ファイルシステムのファイルシステム ID

  • mount-name – FSx for Lustre ファイルシステムのマウント名

  • region-code – AWS リージョン FSx for Lustre ファイルシステムがデプロイされている (PCS AWS システムと同じである必要があります）

  • （オプション) latest – FSx for Lustre でLustreサポートされている の任意のバージョン

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

ファイルシステムのセットアップ

PCS を使用する VPC AWS に Amazon FSx for NetApp ONTAP ファイルシステムを作成します。ゾーン間転送を最小限に抑えるには、PCS AWS コンピューティングノードグループインスタンスの大部分を起動するのと同じアベイラビリティーゾーンのサブネットに をデプロイします。ファイルシステムが、 AWS PCS コンピューティングノードグループインスタンスからのインバウンドおよびアウトバウンドアクセスを許可するセキュリティグループに関連付けられていることを確認します。セキュリティグループの詳細については、FSx for ONTAP ユーザーガイド」の「Amazon VPC によるファイルシステムのアクセスコントロール」を参照してください。

起動テンプレート

が FSx for ONTAP ファイルシステムのルートボリュームをマウントcloud-configするために使用するユーザーデータを含めます。このスクリプトの次の値を独自の詳細に置き換えます。

  • mount-point-directory – FSx for ONTAP ボリュームをマウントするインスタンスのパス

  • svm-id – FSx for ONTAP ファイルシステムの SVM ID

  • filesystem-id – FSx for ONTAP ファイルシステムのファイルシステム ID

  • region-code – AWS リージョン FSx for ONTAP ファイルシステムがデプロイされている (PCS AWS システムと同じである必要があります）

  • volume-name – FSx for ONTAP ボリューム名

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs svm-id.filesystem-id.fsx.region-code.amazonaws.com:/volume-name /mount-point-directory

--==MYBOUNDARY==

ファイルシステムのセットアップ

PCS を使用する VPC AWS に FSx for OpenZFS ファイルシステムを作成します。ゾーン間転送を最小限に抑えるには、PCS AWS コンピューティングノードグループインスタンスの大部分を起動するのと同じアベイラビリティーゾーンのサブネットに をデプロイします。ファイルシステムが、 AWS PCS コンピューティングノードグループインスタンスからのインバウンドおよびアウトバウンドアクセスを許可するセキュリティグループに関連付けられていることを確認します。セキュリティグループの詳細については、FSx for OpenZFS ユーザーガイド」の「Amazon VPC によるファイルシステムアクセスの管理」を参照してください。

起動テンプレート

が FSx for OpenZFS ファイルシステムのルートボリュームをマウントcloud-configするために使用するユーザーデータを含めます。このスクリプトの次の値を独自の詳細に置き換えます。

  • mount-point-directory – FSx for OpenZFS 共有をマウントするインスタンスのパス

  • filesystem-id – FSx for OpenZFS ファイルシステムのファイルシステム ID

  • region-code – AWS リージョン FSx for OpenZFS ファイルシステムがデプロイされている (PCS AWS システムと同じである必要があります）

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

ファイルシステムのセットアップ

PCS を使用する VPC AWS に Amazon ファイルキャッシュを作成します。ゾーン間転送を最小限に抑えるには、PCS コンピューティングノードグループインスタンスの大部分を起動するのと同じアベイラビリティーゾーンのサブネットを選択します。ファイルキャッシュが、PCS インスタンスとファイルキャッシュ間のポート 988 でのインバウンドトラフィックとアウトバウンドトラフィックを許可するセキュリティグループに関連付けられていることを確認します。セキュリティグループの詳細については、「Amazon File Cache ユーザーガイド」の「Amazon VPC によるキャッシュアクセスコントロール」を参照してください。

起動テンプレート

ファイルシステムのセットアップから、コンピューティングノードグループに使用する起動テンプレートにセキュリティグループ (複数可) を追加します。

が Amazon File Cache のマウントcloud-configに使用するユーザーデータを含めます。このスクリプトの次の値を独自の詳細に置き換えます。

  • mount-point-directory – FSx for Lustre をマウントするインスタンスのパス

  • cache-dns-name – ファイルキャッシュのドメインネームシステム (DNS) 名

  • mount-name – ファイルキャッシュのマウント名

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==