起動時に転送中の暗号化について Amazon EMRクラスターをモニタリングする - AWS 規範ガイダンス
[概要]前提条件と制限アーキテクチャツールエピック関連リソース添付ファイル

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

起動時に転送中の暗号化について Amazon EMRクラスターをモニタリングする

作成者: Susanne Kangnoh (AWS）

環境:本稼働

テクノロジー: 分析、ビッグデータ CloudNative、セキュリティ、アイデンティティ、コンプライアンス

ワークロード: オープンソース

AWS サービス: Amazon EMR、Amazon SNS、AWS CloudTrail、Amazon CloudWatch

[概要]

このパターンは、起動時に Amazon EMRクラスターをモニタリングし、転送中の暗号化が有効になっていない場合にアラートを送信するセキュリティコントロールを提供します。 

Amazon EMRは、Apache Hadoop などのビッグデータフレームワークを簡単に実行して、データを処理および分析できるようにするウェブサービスです。Amazon EMR では、マッピングを実行し、ステップを並行して減らすことで、コスト効果の高い方法で大量のデータを処理できます。

データ暗号化は、権限のないユーザーが保管中のデータや転送中のデータにアクセスしたり読み取ったりすることを防ぎます。保管中のデータとは、各ノードのローカルファイルシステム、Hadoop 分散ファイルシステム (HDFS）、または Amazon Simple Storage Service (Amazon S3) を介してEMRファイルシステム (EMRFS) などのメディアに保存されるデータを指します。[転送中のデータ] とは、ネットワーク上を移動し、ジョブ間で転送中のデータを指します。転送時の暗号化は、Apache Spark、Apache 、Apache HadoopTEZ、Apache HBase、Presto のオープンソース暗号化機能をサポートしています。コマンドAWSラインインターフェイス (AWS CLI）、コンソール、または AWS からセキュリティ設定を作成しSDKs、データ暗号化設定を指定することで、暗号化を有効にします。転送中の暗号化用の暗号化アーティファクトは、次の 2 つの方法で提供できます。

  • 証明書の圧縮済みファイルを Amazon S3 にアップロードします。

  • 暗号化アーティファクトを提供するカスタム Java クラスを参照する。

このパターンに含まれるセキュリティコントロールは、API呼び出しをモニタリングし、RunJobFlowアクションに対して Amazon CloudWatch Events イベントを生成します。このイベントは、Python スクリプトを実行する AWS Lambda 関数を呼び出します。関数はイベントJSON入力からEMRクラスター ID を取得し、次のチェックを実行してセキュリティ違反があるかどうかを確認します。

  • EMR クラスターに Amazon EMR固有のセキュリティ設定があるかどうかを確認します。

  • クラスターにセキュリティ設定がある場合は、転送中の暗号化が有効になっているかどうかを確認します。

  • クラスターにセキュリティ設定がない場合、 は Amazon Simple Notification Service (Amazon ) を使用して、指定した E メールアドレスにアラートを送信しますSNS。通知は、EMRクラスター名、違反の詳細、AWSリージョンとアカウント情報、および通知の送信元となる AWS Lambda ARN (Amazon リソースネーム) を指定します。

前提条件と制限

前提条件

  • アクティブ AWS アカウント。

  • このパターンで提供される Lambda コードをアップロードする S3 バケットです。

  • 違反の通知を受け取るメールアドレス。

  • すべてのEMRログにアクセスするための Amazon APIログ記録が有効になりました。

制約事項

  • この検出コントロールはリージョン別であり、モニタリングする各AWSリージョンにデプロイする必要があります。

製品バージョン

  • Amazon EMRリリース 4.8.0 以降。

アーキテクチャ

ワークフローアーキテクチャ

API 呼び出しをモニタリングし、 RunJobFlow アクションでイベントを生成するアーキテクチャ。

自動化とスケール

  • AWS Organizations を使用している場合は、AWSCloudformation StackSets を使用して、モニタリングする複数のアカウントにテンプレートをデプロイできます。

ツール

AWS サービス

  • Amazon EMR – Amazon EMRは、Apache Hadoop や Apache Spark などのビッグデータフレームワークを で簡単に実行AWSし、膨大な量のデータを処理および分析するマネージドクラスタープラットフォームです。これらのフレームワークと、関連するオープンソースプロジェクトを使用することで、分析用のデータやビジネスインテリジェンスワークロードを処理できます。さらに、Amazon を使用して、Amazon S3 や Amazon DynamoDB などの他のAWSデータストアやデータベースとの間で大量のデータをEMR変換および移動できます。

  • AWS Cloudformation – AWSリソースのモデル化とセットアップ、迅速かつ一貫したプロビジョニング、ライフサイクル全体にわたる管理AWS CloudFormation に役立ちます。リソースを個別に管理する代わりに、テンプレートを使用してリソースとその依存関係を記述し、それらをスタックとしてまとめて起動して設定できます。複数のAWSアカウントとAWSリージョンでスタックを管理およびプロビジョニングできます。

  • AWS Cloudwatch Events – Amazon CloudWatch Events は、AWSリソースの変更を記述するシステムイベントのほぼリアルタイムのストリームを提供します。 CloudWatch イベントは、運用上の変更が発生するとそれを認識し、環境への応答、関数のアクティブ化、変更、状態情報のキャプチャなどのメッセージを送信することで、必要に応じて是正措置を講じます。

  • AWS Lambda – AWS Lambda は、サーバーのプロビジョニングや管理を行わずにコードの実行をサポートするコンピューティングサービスです。Lambda は必要に応じてコードを実行し、1 日あたり数個のリクエストから 1 秒あたり数千のリクエストまで自動的にスケールします。課金は実際に消費したコンピューティング時間に対してのみ発生します。コードが実行されていない場合、料金は発生しません。

  • AWS SNS – Amazon Simple Notification Service (Amazon SNS) は、ウェブサーバーや E メールアドレスなど、パブリッシャーとクライアント間のメッセージの送信を調整して管理します。サブスクライバーは、サブスクライブしているトピックに対して発行されたすべてのメッセージを受信します。また、同じトピックのサブスクライバーはすべて同じメッセージを受信します。

コード

このパターンには、次の 2 つのファイルを含む添付ファイルが含まれます。

  • EMRInTransitEncryption.zip は、セキュリティコントロール (Lambda コード) を含む圧縮ファイルです。

  • EMRInTransitEncryption.yml は、セキュリティコントロールをデプロイする CloudFormation テンプレートです。

これらのファイルの使用方法については、「エピック」セクションを参照してください。

エピック

タスク説明必要なスキル

S3 バケットにコードをアップロードします。

新しい S3 バケットを作成するか、既存の S3 バケットを使用して、添付 EMRInTransitEncryption.zip ファイル (Lambda コード) をアップロードします。このバケットは、評価する CloudFormation テンプレートとリソースと同じAWSリージョンにある必要があります。

クラウドアーキテクト

CloudFormation テンプレートをデプロイします。

S3 バケットと同じAWSリージョンで Cloudformation コンソールを開き、アタッチメントで提供されているEMRInTransitEncryption.ymlファイルをデプロイします。次のエピックでは、テンプレートパラメータの値を指定します。

クラウドアーキテクト、
タスク説明必要なスキル

S3 バケット名を入力します。

最初のエピックで作成または選択した S3 バケットの名前を入力します。この S3 バケットには Lambda コードの .zip ファイルが含まれており、評価される CloudFormation テンプレートとリソースと同じAWSリージョンにある必要があります。

クラウドアーキテクト

S3 キーを提供します。

S3 バケット内の Lambda コードの.zip ファイルの場所を、先頭にスラッシュを付けずに指定します (たとえば、EMRInTransitEncryption.zip、controls/EMRInTransitEncryption.zip)。

クラウドアーキテクト

メールアドレスを提供します。

違反の通知を受け取る、有効なメールアドレスを指定します。 

クラウドアーキテクト

ログ記録レベルを指定します。

Lambda ログのロギングレベルと詳細度を指定します。Info はアプリケーションの進行状況に関する詳細な情報メッセージを指定するため、デバッグにのみ使用します。Error は、アプリケーションの実行を継続できるエラーイベントを指定します。Warning は、潜在的に有害な状況を示します。

クラウドアーキテクト
タスク説明必要なスキル

メールサブスクリプションを確認します。

CloudFormation テンプレートが正常にデプロイされると、指定した E メールアドレスにサブスクリプション E メールメッセージを送信します。通知を受信するには、このメールのサブスクリプションを確認する必要があります。                                                     

クラウドアーキテクト

関連リソース

添付ファイル

このドキュメントに関連する追加コンテンツにアクセスするには、次のファイルを解凍してください。「attachment.zip」