View a markdown version of this page

の EMR クラスターAWS Outposts - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

の EMR クラスターAWS Outposts

Amazon EMR 5.28.0 以降では、EMR クラスターを onAWS Outposts.AWS Outpostsenables で作成して実行し、オンプレミス施設でネイティブAWSサービス、インフラストラクチャ、運用モデルを有効にします。AWS Outposts環境では、 AWSクラウドで使用するのと同じ AWSAPIs、ツール、インフラストラクチャを使用できます。Amazon EMR on AWS Outpostsは、オンプレミスのデータやアプリケーションの近くで実行する必要がある低レイテンシーのワークロードに最適です。詳細についてはAWS Outposts、AWS Outposts「 ユーザーガイド」を参照してください。

前提条件

Amazon EMR を AWS Outposts で使用するための前提条件を次に示します。

  • オンプレミスデータセンターAWS Outpostsに をインストールして設定しておく必要があります。

  • Outpost 環境と AWSリージョンの間に信頼性の高いネットワーク接続が必要です。

  • Outpost で利用可能な Amazon EMR でサポートされているインスタンスタイプに、十分な容量が必要です。

制限事項

AWS Outposts で Amazon EMR を使用する際の制限事項を次に示します。

  • オンデマンドインスタンスは、Amazon EC2 インスタンスでサポートされる唯一のオプションです。スポットインスタンスは、AWS Outposts の Amazon EMR では使用できません。

  • 追加の Amazon EBS ストレージボリュームが必要な場合は、汎用 SSD (GP2) のみがサポートされます。

  • Amazon EMR リリース 5.28 から 6.x AWS Outpostsで を使用する場合、AWS リージョン指定した にオブジェクトを保存する S3 バケットのみを使用できます。Amazon EMR 7.0.0 以降では、 の Amazon EMR AWS OutpostsはS3Aファイルシステムクライアントのプレフィックス でもサポートされていますs3a://

  • AWS Outposts の Amazon EMR では、次のインスタンスタイプのみがサポートされています。

    インスタンスクラス インスタンスのタイプ
    汎用

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    コンピューティング最適化

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    メモリ最適化

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    ストレージの最適化

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

ネットワーク接続に関する考慮事項

  • Outpost とそのAWSリージョン間のネットワーク接続が失われた場合、クラスターは引き続き実行されます。ただし、接続が復元されるまで、新しいクラスターを作成したり、既存のクラスターで新しいアクションを実行したりすることはできません。インスタンスに障害が発生した場合、インスタンスは自動的に置き換えられません。さらに、実行中のクラスターへのステップの追加、ステップ実行ステータスの確認、CloudWatch メトリクスとイベントの送信などのアクションは遅延します。

  • Outpost と AWSリージョンの間に、信頼性が高く可用性の高いネットワーク接続を提供することをお勧めします。Outpost とそのAWSリージョン間のネットワーク接続が数時間以上失われた場合、終了保護を有効にしたクラスターは引き続き実行され、終了保護を無効にしたクラスターは終了する可能性があります。

  • 定期的なメンテナンスによってネットワーク接続に影響が生じる場合は、事前に終了保護を有効にすることをお勧めします。より一般的には、接続の中断とは、Outpost またはカスタマーネットワークに対してローカルでない外部依存関係が利用できなくなることを意味します。これには、Simple Storage Service (Amazon S3)、EMRFS 整合性ビューで使用される DynamoDB、および複数のプライマリノードを持つ Amazon EMR クラスターでリージョン内インスタンスが使用される場合の Amazon RDS が含まれます。

での Amazon EMR クラスターの作成AWS Outposts

での Amazon EMR クラスターの作成AWS Outpostsは、 AWSクラウドでの Amazon EMR クラスターの作成と似ています。で Amazon EMR クラスターを作成するときはAWS Outposts、Outpost に関連付けられた Amazon EC2 サブネットを指定する必要があります。

Amazon VPC は、AWSリージョン内のすべてのアベイラビリティーゾーンにまたがることができます。 AWS Outpostsはアベイラビリティーゾーンの拡張機能であり、アカウント内の Amazon VPC を拡張して、複数のアベイラビリティーゾーンおよび関連する Outpost ロケーションにまたがることができます。Outpost を設定するとき、サブネットをそれに関連付けて、リージョン VPC 環境をオンプレミス施設に拡張します。Outpost インスタンスおよび関連サービスは、サブネットが関連付けられたアベイラビリティーゾーンと同様に、リージョンの VPC の一部として表示されます。詳細については、AWS Outposts ユーザーガイドを参照してください。

コンソール

AWS Outpostsを使用して で新しい Amazon EMR クラスターを作成するにはAWS マネジメントコンソール、Outpost に関連付けられている Amazon EC2 サブネットを指定します。

Console
コンソールAWS Outpostsを使用して でクラスターを作成するには
  1. にサインインしAWS マネジメントコンソール、https://console.aws.amazon.com/emr で Amazon EMR コンソールを開きます。

  2. 左側のナビゲーションペインの [EMR on EC2] で、[クラスター] を選択し、[クラスターの作成] を選択します

  3. [クラスターの設定] で、[インスタンスグループ] または [インスタンスフリート] を選択します。次に、[EC2 インスタンスタイプの選択] ドロップダウンメニューからインスタンスタイプを選択するか、[アクション] を選択して [EBS ボリュームの追加] を選択します。の Amazon EMR は、限られた Amazon EBS ボリュームとインスタンスタイプAWS Outpostsをサポートしています。

  4. [ネットワーク] で、op-123456789 という形式の Outpost ID を持つ EC2 サブネットを選択します。

  5. クラスターに適用するその他のオプションを選択します。

  6. クラスターを起動するには、[クラスターの作成] を選択します。

CLI
AWS Outpostsを使用して でクラスターを作成するにはAWS CLI
  • AWS Outpostsを使用して に新しい Amazon EMR クラスターを作成するにはAWS CLI、次の例のように、Outpost に関連付けられている EC2 サブネットを指定します。subnet-22XXXX01 を自身の Amazon EC2 サブネット ID に置き換えます。

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.13.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles