Amazon でデータ暗号化用のキーと証明書を作成する EMR

セキュリティ設定を使用して暗号化オプションを指定する場合は、その前に、キーや暗号化アーティファクトの提供元として使用したいプロバイダーを決定します。例えば、 AWS KMS または作成したカスタムプロバイダーを使用できます。次に、このセクションで説明する方法に沿ってキーまたはキープロバイダーを作成します。

保管中のデータを暗号化するためのキーの提供

Amazon の保管中のデータ暗号化には、 AWS Key Management Service （AWS KMS) またはカスタムキープロバイダーを使用できますEMR。を使用する場合 AWS KMS、暗号化キーのストレージと使用には料金が適用されます。詳細については、AWS KMS の料金を参照してください。

このトピックでは、Amazon で使用するKMSキーのキーポリシーの詳細とEMR、Amazon S3 暗号化用のカスタムキープロバイダークラスを記述するためのガイドラインとコード例について説明します。キーの作成の詳細については、「AWS Key Management Service デベロッパーガイド」の「キーの作成」を参照してください。

暗号化 AWS KMS keys に を使用する

AWS KMS 暗号化キーは、Amazon EMRクラスターインスタンスおよび で使用される Amazon S3 バケットと同じリージョンで作成する必要がありますEMRFS。指定したキーがクラスターの設定に使用するアカウントとは異なるアカウントにある場合は、 を使用してキーを指定する必要がありますARN。

Amazon EC2インスタンスプロファイルのロールには、指定したKMSキーを使用するアクセス許可が必要です。Amazon のインスタンスプロファイルのデフォルトロールは EMRですEMR_EC2_DefaultRole。インスタンスプロファイルに別のロールを使用する場合、または Amazon S3 へのEMRFSリクエストにIAMロールを使用する場合は、必要に応じて各ロールがキーユーザーとして追加されていることを確認してください。これにより、 KMS キーを使用するアクセス許可がロールに付与されます。詳細については、AWS Key Management Service 「 デベロッパーガイド」の「キーポリシーの使用」とAmazon S3へのEMRFSリクエストのIAMロールの設定」を参照してください。

を使用して AWS Management Console 、指定したKMSキーのキーユーザーのリストにインスタンスプロファイルまたはEC2インスタンスプロファイルを追加するか、 AWS CLI または AWS SDKを使用して適切なキーポリシーをアタッチできます。

Amazon は対称KMSキー のみEMRをサポートしていることに注意してください。非対称KMSキーを使用して、Amazon EMRクラスター内の保管中のデータを暗号化することはできません。KMS キーが対称か非対称かを判断する方法については、「対称キーと非対称KMSキーの特定」を参照してください。

次の手順では、 を使用して、デフォルトの Amazon EMRインスタンスプロファイルをキーユーザーEMR_EC2_DefaultRoleとして追加する方法について説明します AWS Management Console。KMS キーを既に作成していることを前提としています。新しいKMSキーを作成するには、「 AWS Key Management Service デベロッパーガイド」の「キーの作成」を参照してください。

KMS キーに追加のアクセス許可を付与してEBS暗号化を有効にする

Amazon EMRバージョン 5.24.0 以降では、セキュリティ設定オプションを使用してEBSルートデバイスとストレージボリュームを暗号化できます。このようなオプションを有効にするには、 をキープロバイダー AWS KMS として指定する必要があります。さらに、 AWS KMS key 指定した を使用するアクセス許可EMR_DefaultRoleをサービスロールに付与する必要があります。

を使用して、指定されたKMSキーのキーユーザーのリストにサービスロール AWS Management Console を追加するか、 AWS CLI または AWS SDKを使用して適切なキーポリシーをアタッチできます。

次の手順では、 AWS Management Console を使用して、デフォルトの Amazon EMRサービスロールをキーユーザー EMR_DefaultRole として追加する方法について説明します。KMS キーを既に作成していることを前提としています。新しいKMSキーを作成するには、「 デベロッパーガイド」の「キーの作成」を参照してください。 AWS Key Management Service

カスタムキープロバイダーの作成

セキュリティ設定を使用する場合は、ローカルディスク暗号化と Amazon S3 暗号化用に異なるプロバイダークラス名を指定する必要があります。カスタムキープロバイダーの要件は、ローカルディスク暗号化と Amazon S3 暗号化のどちらを使用するか、および Amazon EMRリリースバージョンによって異なります。

カスタムキープロバイダーの作成時に使用する暗号化のタイプに応じて、アプリケーションは異なる EncryptionMaterialsProvider インターフェイスを実装する必要があります。どちらのインターフェイスも、 AWS SDK for Java バージョン 1.11.0 以降で使用できます。

任意の戦略を使用して、実装用の暗号化マテリアルを提供できます。例えば、静的暗号化マテリアルを提供するか、より複雑なキー管理システムと統合するかを選択できます。

Amazon S3 暗号化を使用している場合は、カスタム暗号化マテリアルAES/GCM/NoPaddingに暗号化アルゴリズムを使用する必要があります。

ローカルディスク暗号化を使用している場合、カスタム暗号化マテリアルに使用する暗号化アルゴリズムはEMRリリースによって異なります。Amazon 7.0.0 EMR 以前では、 を使用する必要がありますAES/GCM/NoPadding。Amazon 7.1.0 EMR 以降では、 を使用する必要がありますAES。

EncryptionMaterialsProvider クラスは、暗号化コンテキストによって暗号化マテリアルを取得します。Amazon EMR は、呼び出し元が返す正しい暗号化マテリアルを決定するのに役立つように、実行時に暗号化コンテキスト情報を入力します。

import com.amazonaws.services.s3.model.EncryptionMaterials;
import com.amazonaws.services.s3.model.EncryptionMaterialsProvider;
import com.amazonaws.services.s3.model.KMSEncryptionMaterials;
import org.apache.hadoop.conf.Configurable;
import org.apache.hadoop.conf.Configuration;

import java.util.Map;

/**
 * Provides KMSEncryptionMaterials according to Configuration
 */
public class MyEncryptionMaterialsProviders implements EncryptionMaterialsProvider, Configurable{
  private Configuration conf;
  private String kmsKeyId;
  private EncryptionMaterials encryptionMaterials;

  private void init() {
    this.kmsKeyId = conf.get("my.kms.key.id");
    this.encryptionMaterials = new KMSEncryptionMaterials(kmsKeyId);
  }

  @Override
  public void setConf(Configuration conf) {
    this.conf = conf;
    init();
  }

  @Override
  public Configuration getConf() {
    return this.conf;
  }

  @Override
  public void refresh() {

  }

  @Override
  public EncryptionMaterials getEncryptionMaterials(Map<String, String> materialsDescription) {
    return this.encryptionMaterials;
  }

  @Override
  public EncryptionMaterials getEncryptionMaterials() {
    return this.encryptionMaterials;
  }
}

Amazon 暗号化を使用して転送中のデータをEMR暗号化するための証明書を提供する

Amazon EMRリリースバージョン 4.8.0 以降では、セキュリティ設定を使用して転送中のデータを暗号化するためのアーティファクトを指定する 2 つのオプションがあります。

Amazon は、クラスター内の各ノードにアーティファクトEMRを自動的にダウンロードし、後でそれらを使用して、オープンソースの転送中の暗号化機能を実装します。使用できるオプションの詳細については、転送中の暗号化を参照してください。

PEM 証明書の使用

転送中の暗号化に .zip ファイルを指定すると、セキュリティ設定では、.zip ファイル内のPEMファイルの名前が次のように正確に指定されることが期待されます。

プライベートキーPEMファイルを、クラスターインスタンスが存在する Amazon VPCドメインへのアクセスを可能にするワイルドカード証明書として設定したい場合があります。たとえば、クラスターが us-east-1 (N. Virginia) に存在する場合、証明書件名定義で CN=*.ec2.internal を指定して、クラスターへのアクセスが可能になるよう、証明書設定で共通の名前を指定することができます。クラスターが us-west-2 (オレゴン) に存在する場合、CN=*.us-west-2.compute.internal を指定できます。

暗号化アーティファクトで指定されたPEMファイルにドメインの CN にワイルドカード文字がない場合は、 の値を hadoop.ssl.hostname.verifier に変更する必要がありますALLOW_ALL。これを行うには、クラスターに設定を送信するときに core-site 分類を使用するか、core-site.xml ファイルでこの値を追加します。デフォルトのホスト名検証でワイルドカードなしのホスト名が受け入れられず、エラーになるため、この変更が必要です。Amazon 内のEMRクラスター設定の詳細についてはVPC、「」を参照してくださいVPC for Amazon でネットワークを設定する EMR。

次の例は、OpenSSL を使用して 1024 ビットのRSAプライベートキーを使用して自己署名 X.509 証明書を生成する方法を示しています。キーは、*.us-west-2.compute.internalドメイン名で共通名として指定された us-west-2 (オレゴン) リージョン内の発行者の Amazon EMRクラスターインスタンスへのアクセスを許可します。

国 (C)、州 (S) およびロケール (L) といった他のオプション項目も指定されます。自己署名証明書が生成されるため、例の 2 番目のコマンドでは、certificateChain.pem ファイルを trustedCertificates.pem ファイルにコピーします。3 番目のコマンドでは、zip を使って証明書を含む my-certs.zip ファイルを作成します。

$ openssl req -x509 -newkey rsa:1024 -keyout privateKey.pem -out certificateChain.pem -days 365 -nodes -subj '/C=US/ST=Washington/L=Seattle/O=MyOrg/OU=MyDept/CN=*.us-west-2.compute.internal'
$ cp certificateChain.pem trustedCertificates.pem
$ zip -r -X my-certs.zip certificateChain.pem privateKey.pem trustedCertificates.pem