AWS CloudTrail ソースからのデータレイクの作成

データレイクを作成するための大まかなステップ

1. Amazon Simple Storage Service (Amazon S3) パスをデータレイクとして登録します。

2. Lake Formation に、Data Catalog、およびデータレイク内の Amazon S3 ロケーションに書き込みを行うための許可を付与します。

3. Data Catalog 内のメタデータテーブルを整理するためのデータベースを作成します。

4. ブループリントを使用してワークフローを作成します。ワークフローを実行して、データソースからデータを取り込みます。

5. 他のユーザーが Data Catalog とデータレイク内のデータを管理できるようにする Lake Formation 許可を設定します。

6. Amazon S3 データレイクにインポートしたデータをクエリするように Amazon Athena をセットアップします。

7. 一部のデータストアタイプについては、Amazon S3 データレイクにインポートしたデータをクエリするように Amazon Redshift Spectrum をセットアップします。

1. IAM コンソール (https://console.aws.amazon.com/iam) を開きます。管理アクセスを持つユーザーを作成する で作成した管理者ユーザー、または AdministratorAccess AWS マネージドポリシーを持つユーザーとしてサインインします。

2. 以下の設定で、datalake_user という名前のユーザーを作成します。

   • AWS Management Consoleへのアクセスを有効にする。

   • パスワードを設定して、パスワードのリセットを不要にする。

   • AmazonAthenaFullAccess AWS マネージドポリシーをアタッチする。

   • 以下のインラインポリシーをアタッチする。ポリシーには DatalakeUserBasic という名前を付けます。

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

1. 以下のインラインポリシーを LakeFormationWorkflowRole ロールにアタッチします。このポリシーは、AWS CloudTrail ログの読み取る許可を付与します。ポリシーには DatalakeGetCloudTrail という名前を付けます。

   LakeFormationWorkflowRole ロールを作成するには、「(オプション) ワークフロー用の IAM ロールを作成する」を参照してください。

   重要

   <your-s3-cloudtrail-bucket> は、CloudTrail データの Amazon S3 ロケーションに置き換えてください。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "s3:GetObject",
               "Resource": ["arn:aws:s3:::<your-s3-cloudtrail-bucket>/*"]
           }
       ]
   }

2. ロールに 3 つのポリシーがアタッチされていることを確認します。

1. Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開き、管理アクセスを持つユーザーを作成する で作成した管理者ユーザーとしてサインインします。

2. [Create bucket] (バケットを作成) を選択し、ウィザードをすべて実行して <yourName>-datalake-cloudtrail という名前のバケットを作成します。<yourName> はユーザーの名前のイニシャルと苗字の組み合わせです。例: jdoe-datalake-cloudtrail。

   Amazon S3 バケットの詳しい作成手順については、「バケットの作成」を参照してください。

1. Lake Formation コンソール (‭‬https://console.aws.amazon.com/lakeformation/‬) を開きます。データレイク管理者としてサインインします。

2. ナビゲーションペインの [Register and ingest] (登録および取り込み) で [Data lake locations] (データレイクのロケーション) を選択します。

3. [Register location] (ロケーションを登録) を選択してから、[Browse] (参照) を選択します。

4. 前に作成した <yourName>-datalake-cloudtrail バケットを選択し、デフォルトの IAM ロール AWSServiceRoleForLakeFormationDataAccess を受け入れ、[Register location] (ロケーションを登録) を選択します。

   ロケーションの登録に関する詳細については、「データレイクへの Amazon S3 ロケーションの追加」を参照してください。

1. ナビゲーションペインの [Permissions] (許可) で [Data locations] (データのロケーション) を選択します。

2. [Grant] (付与) を選択し、[Grant permissions] (許可の付与) ダイアログボックスで、以下の選択を行います。

   1. [IAM user and roles] (IAM ユーザーおよびロール) で、LakeFormationWorkflowRole を選択します。

   2. [Storage locations] (ストレージのロケーション) で、使用する <yourName>-datalake-cloudtrail バケットを選択します。

3. [Grant] (付与) を選択します。

1. ナビゲーションペインの [Data catalog] で [Databases] (データベース) を選択します。

2. [Create database] (データベースを作成) を選択し、[Database details] (データベースの詳細) で lakeformation_cloudtrail という名前を入力します。

3. 他のフィールドは空欄のままにしておき、[Create database] (データベースを作成) を選択します。

1. Lake Formation コンソールのナビゲーションペインにある [Data catalog] で [Databases] (データベース) を選択します。

2. lakeformation_cloudtrail データベースを選択してから、[Actions] (アクション) ドロップダウンリストで、[Permissions] (許可) の見出しの下にある [Grant] (付与) を選択します。

3. [Grant data permissions] (データ許可の付与) ダイアログボックスで、以下の選択を行います。

   1. [Principals] (プリンシパル) の [IAM user and roles] (IAM ユーザーおよびロール) で LakeFormationWorkflowRole を選択します。

   2. [LF-Tags or catalog resources] (LF タグまたはカタログリソース) で、[Named data catalog resources] (名前付きの Data Catalog リソース) を選択します。

   3. [Databases] (データベース) については、lakeformation_cloudtrail データベースがすでに追加されていることが確認できるはずです。

   4. [Database permissions] (データベースの許可) で、[Create table] (テーブルの作成)、[Alter] (変更)、および [Drop] (ドロップ) をオンにして、[Super] (スーパー) が選択されている場合はそれをオフにします。

   [Grant data permissions] (データ許可の付与) ダイアログボックスは、今の時点で以下のスクリーンショットのようになっているはずです。

   

4. [Grant] (付与) を選択します。

1. Lake Formation コンソールのナビゲーションペインで [Blueprints] (ブループリント) を選択してから、[Use blueprint] (ブループリントを使用) を選択します。

2. [Use a blueprint] (ブループリントの使用) ページの [Blueprint type] (ブループリントタイプ) で [AWS CloudTrail]を選択します。

3. [Import source] (インポートソース) で、CloudTrail ソースと開始日を選択します。

4. [Import target] (インポートターゲット) で、以下のパラメータを指定します。

   [Target database] (ターゲットデータベース)	lakeformation_cloudtrail
   [Target storage location] (ターゲットストレージロケーション)	s3://<yourName>-datalake-cloudtrail
   [Data format] (データ形式)	Parquet

5. [Import Frequency] (インポート頻度) には、[Run on demand] (オンデマンドで実行) を選択します。

6. [Import target] (インポートオプション) で、以下のパラメータを指定します。

   [Workflow name] (ワークフロー名)	lakeformationcloudtrailtest
   [IAM role] (IAM ロール)	LakeFormationWorkflowRole
   [Table prefix] (テーブルプレフィックス)	cloudtrailtest 注記 小文字を使用する必要があります。

7. [Create] (作成) を選択し、ワークフローが正常に作成されたことコンソールが報告するまで待機します。

   ヒント

   以下のエラーメッセージが表示されましたか?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   表示された場合は、データレイク管理者ユーザーのインラインポリシーにある <account-id> が有効な AWS アカウント番号に置き換えられているかどうかをチェックしてください。

• [Blueprints] (ブループリント) ページでワークフロー lakeformationcloudtrailtest を選択し、[Actions] (アクション) メニューから [Start] (開始) を選択します。

  ワークフローの実行に伴って、その進捗状況を [Last run status] (最終実行ステータス) 列で確認できます。更新ボタンを随時選択します。

  ステータスは、[RUNNING] (実行中) から、[Discovering] (検出中)、[Importing] (インポート中)、[COMPLETED] (完了) と移行します。

  ワークフローが完了すると、以下のようになります。

  • Data Catalog に新しいメタデータテーブルがある。

  • CloudTrail ログがデータレイクに取り込まれる。

  ワークフローが失敗する場合は、以下を実行します。

  1. ワークフローを選択し、[Actions] (アクション) メニューで [View graph] (グラフを表示) を選択します。

     AWS Glue コンソールでワークフローが開きます。

  2. そのワークフローが選択されていることを確認し、[History] (履歴) タブを選択します。

  3. [History] (履歴) で、最新の実行を選択し、[View run details] (実行の詳細を表示) を選択します。

  4. 動的 (ランタイム) グラフで失敗したジョブまたはクローラを選択し、エラーメッセージを確認します。障害が発生したノードは赤色または黄色のいずれかになっています。

1. Lake Formation コンソールのナビゲーションペインにある [Data catalog] で [Databases] (データベース) を選択します。

2. lakeformation_cloudtrail データベースを選択してから、[Actions] (アクション) ドロップダウンリストで、[Permissions] (許可) の見出しの下にある [Grant] (付与) を選択します。

3. [Grant data permissions] (データ許可の付与) ダイアログボックスで、以下の選択を行います。

   1. [Principals] (プリンシパル) の [IAM user and roles] (IAM ユーザーおよびロール) で datalake_user を選択します。

   2. [LF-Tags or catalog resources] (LF タグまたはカタログリソース) で、[Named data catalog resources] (名前付きの Data Catalog リソース) を選択します。

   3. [Databases] (データベース) については、lakeformation_cloudtrail データベースがすでに選択されているはずです。

   4. [Tables] (テーブル) には cloudtrailtest-cloudtrail を選択します。

   5. [Table and column permissions] (テーブルと列の許可) で [Select] (選択) をオンにします。

4. [Grant] (付与) を選択します。

1. Athena コンソール (https://console.aws.amazon.com/athena/) を開き、データアナリストのユーザー datalake_user としてサインインします。

2. 必要に応じて [Get Started] (開始する) を選択して、Athena クエリエディタに進みます。

3. [Data source] (データソース) で [AwsDataCatalog] を選択します。

4. [Database] (データベース) で、lakeformation_cloudtrail を選択します。

   [Tables] (テーブル) リストが表示されます。

5. テーブル cloudtrailtest-cloudtrail の横にあるオーバーフローメニュー (縦方向に並んだ 3 つの点) で、[Preview table] (表をプレビュー)、[Run] (実行) の順に選択します。

   クエリが実行され、10 行のデータが表示されます。

   これまで Athena を使用したことがないという場合は、最初に Athena コンソールでクエリ結果を保存するための Amazon S3 ロケーションを設定する必要があります。datalake_user は、ユーザーが選択した Amazon S3 バケットへのアクセスに必要な許可を持っている必要があります。