EMR 上のクラスター AWS Outposts - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

EMR 上のクラスター AWS Outposts

Amazon EMR 5.28.0 以降では、 でEMRクラスターを作成して実行できます AWS Outposts。 は、オンプレミス施設でネイティブ AWS サービス、インフラストラクチャ、および運用モデル AWS Outposts を有効にします。 AWS Outposts 環境では、 AWS クラウドで使用するのと同じ AWS APIs、ツール、インフラストラクチャを使用できます。Amazon EMR on AWS Outposts は、オンプレミスのデータやアプリケーションの近くで実行する必要がある低レイテンシーのワークロードに最適です。の詳細については AWS Outposts、AWS Outposts 「 ユーザーガイド」を参照してください。

前提条件

以下は、 EMRで Amazon を使用するための前提条件です AWS Outposts。

  • オンプレミスデータセンター AWS Outposts に をインストールして設定する必要があります。

  • Outpost 環境と AWS リージョンの間に信頼性の高いネットワーク接続が必要です。

  • Outpost で使用できる Amazon EMRでサポートされているインスタンスタイプの十分な容量が必要です。

制限事項

以下は、 EMRで Amazon を使用するための制限です AWS Outposts。

  • オンデマンドインスタンスは、Amazon EC2インスタンスでサポートされている唯一のオプションです。スポットインスタンスは、 EMRで Amazon では使用できません AWS Outposts。

  • 追加の Amazon EBSストレージボリュームが必要な場合は、汎用 SSD (GP2) のみがサポートされます。

  • Amazon EMRリリース 5.28 から 6.x AWS Outposts で を使用する場合、 AWS リージョン 指定した にオブジェクトを保存する S3 バケットのみを使用できます。Amazon 7.0.0 EMR 以降では、Amazon EMR on AWS Outposts は でもサポートされています。S3A ファイルシステムクライアント、プレフィックス s3a://

  • EMR Amazon on では、次のインスタンスタイプのみがサポートされています AWS Outposts。

    インスタンスクラス インスタンスのタイプ
    汎用

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    コンピューティング最適化

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    メモリ最適化

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    ストレージの最適化

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

ネットワーク接続に関する考慮事項

  • Outpost とその AWS リージョン間のネットワーク接続が失われた場合、クラスターは引き続き実行されます。ただし、接続が復元されるまで、新しいクラスターを作成したり、既存のクラスターで新しいアクションを実行したりすることはできません。インスタンスに障害が発生した場合、インスタンスは自動的に置き換えられません。さらに、実行中のクラスターへのステップの追加、ステップの実行ステータスの確認、 CloudWatch メトリクスとイベントの送信などのアクションは遅延します。

  • Outpost と AWS リージョン間で、信頼性が高く可用性の高いネットワーク接続を提供することをお勧めします。Outpost とその AWS リージョン間のネットワーク接続が数時間以上失われた場合、終了保護を有効にしたクラスターは引き続き実行され、終了保護を無効にしたクラスターは終了する可能性があります。

  • 定期的なメンテナンスによってネットワーク接続に影響が生じる場合は、事前に終了保護を有効にすることをお勧めします。より一般的には、接続の中断とは、Outpost またはカスタマーネットワークに対してローカルでない外部依存関係が利用できなくなることを意味します。これには、Amazon S3、EMRFS整合性ビューで使用される DynamoDB、および複数のプライマリノードを持つ Amazon EMRクラスターにリージョン内インスタンスが使用されRDSている場合の Amazon が含まれます。

での Amazon EMRクラスターの作成 AWS Outposts

で Amazon EMRクラスターを作成する AWS Outposts ことは、 AWS クラウドで Amazon EMRクラスターを作成するのと似ています。で Amazon EMRクラスターを作成するときは AWS Outposts、Outpost に関連付けられた Amazon EC2サブネットを指定する必要があります。

Amazon VPCは AWS 、リージョン内のすべてのアベイラビリティーゾーンにまたがることができます。 AWS Outposts はアベイラビリティーゾーンの拡張機能であり、アカウントVPC内の Amazon を拡張して、複数のアベイラビリティーゾーンおよび関連する Outpost ロケーションにまたがることができます。Outpost を設定するときは、サブネットを関連付けて、リージョンVPC環境をオンプレミス施設に拡張します。Outpost インスタンスと関連サービスはVPC、関連付けられたサブネットを持つアベイラビリティーゾーンと同様に、リージョン の一部として表示されます。詳細については、AWS Outposts ユーザーガイドを参照してください。

コンソール

AWS Outposts を使用して新しい Amazon EMRクラスターを作成するには AWS Management Console、Outpost に関連付けられている Amazon EC2サブネットを指定します。

Console
コンソール AWS Outposts を使用して でクラスターを作成するには
  1. にサインインし AWS Management Console、https://console.aws.amazon.com/emr で Amazon EMRコンソールを開きます。

  2. 左側のナビゲーションペインの EMRでEC2クラスター を選択し、クラスター の作成 を選択します。

  3. [クラスターの設定] で、[インスタンスグループ] または [インスタンスフリート] を選択します。次に、「インスタンスタイプを選択」ドロップダウンメニューからEC2インスタンスタイプを選択するか、「アクション」を選択し、EBS「ボリュームの追加」を選択します。Amazon EMR on AWS Outposts では、Amazon EBSボリュームとインスタンスタイプが制限されています。

  4. ネットワーク で、Outpost ID が op-123456789 のEC2サブネットを選択します。

  5. クラスターに適用するその他のオプションを選択します。

  6. クラスターを起動するには、[クラスターの作成] を選択します。

CLI
AWS Outposts を使用して でクラスターを作成するには AWS CLI
  • AWS Outposts で新しい Amazon EMRクラスターを作成するには AWS CLI、次の例のように Outpost に関連付けられているEC2サブネットを指定します。置換 subnet-22XXXX01 独自の Amazon EC2 サブネット ID を使用します。

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.3.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles