セットアップ AWS Lake Formation

1. 米国東部 (バージニア北部) リージョンの IAM 管理者として https://console.aws.amazon.com/cloudformation で AWS CloudFormation コンソールにサインインします。

2. [スタックの起動] を選択します。

3. [Create Stack] (スタックの作成) 画面で、[Next] (次へ) を選択します。

4. [Stack name] (スタック名) を入力します。

5. DatalakeAdminName と にはDatalakeAdminPassword、データレイク管理者ユーザーのユーザー名とパスワードを入力します。

6. DatalakeUser1Name と DatalakeUser1Password には、データレイクアナリストユーザーのユーザー名とパスワードを入力します。

7. にはDataLakeBucketName、作成する新しいバケット名を入力します。

8. [次へ] をクリックします。

9. 次のページで、[Next] (次へ) を選択します。

10. 最終ページの詳細を確認し、IAM リソースを作成する AWS CloudFormation 可能性があることを確認します。

11. [Create] (作成) を選択します。

    スタックの作成には、最大 2 分かかる場合があります。

リソースをクリーンアップする

AWS CloudFormation スタックリソースをクリーンアップする場合：

1. スタックが作成し、データレイクのロケーションとして登録した Amazon S3 バケットの登録を解除します。

2. AWS CloudFormation スタックを削除します。これにより、スタックによって作成されたすべてのリソースが削除されます。

データレイク管理者を作成する (コンソール)

1. データレイク管理者になるユーザーがまだ存在しない場合は、IAM コンソールを使用してそのユーザーを作成します。存在する場合は、データレイク管理者になる既存のユーザーを選択します。

   注記

   データレイク管理者として IAM 管理ユーザー ( AdministratorAccess AWS 管理ポリシーを持つユーザー) を選択しないことをお勧めします。

   次の AWS 管理ポリシーをユーザーにアタッチします。

   ポリシー	必須/オプション	メモ
   AWSLakeFormationDataAdmin	必須	基本的なデータレイク管理者許可。この AWS 管理ポリシーには、ユーザーが新しいデータレイク管理者を作成するPutDataLakeSettingことを制限する Lake Formation API オペレーションの明示的な拒否が含まれています。
   AWSGlueConsoleFullAccess, CloudWatchLogsReadOnlyAccess	オプション	データレイク管理者が Lake Formation ブループリントから作成されたワークフローをトラブルシューティングを行う場合は、これらのポリシーをアタッチします。これらのポリシーは、データレイク管理者が AWS Glue コンソールと Amazon CloudWatch Logs コンソールでトラブルシューティング情報を表示できるようにします。ワークフローについては、「Lake Formation でのワークフローを使用したデータのインポート」を参照してください。
   AWSLakeFormationCrossAccountManager	オプション	このポリシーをアタッチして、データレイク管理者が Data Catalog リソースに対するクロスアカウント許可の付与と取り消しを実行できるようにします。詳細については、「Lake Formation でのクロスアカウントデータ共有」を参照してください。
   AmazonAthenaFullAccess	オプションです。	データレイク管理者が でクエリを実行する場合は、このポリシーをアタッチします Amazon Athena。

2. 以下のインラインポリシーをアタッチします。これは、Lake Formation サービスリンクロールを作成する許可をデータレイク管理者に付与します。ポリシーに推奨される名前は LakeFormationSLR です。

   このサービスリンクロールは、データレイク管理者がより簡単に Amazon S3 ロケーションを Lake Formation に登録できるようにします。Lake Formation サービスリンクロールの詳細については、「Lake Formation のサービスリンクロールの使用」を参照してください。

   重要

   次のすべてのポリシーで、<account-id> を有効な AWS アカウント番号に置き換えます。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": "iam:CreateServiceLinkedRole",
               "Resource": "*",
               "Condition": {
                   "StringEquals": {
                       "iam:AWSServiceName": "lakeformation.amazonaws.com"
                   }
               }
           },
           {
               "Effect": "Allow",
               "Action": [
                   "iam:PutRolePolicy"
               ],
               "Resource": "arn:aws:iam::<account-id>:role/aws-service-role/lakeformation.amazonaws.com/AWSServiceRoleForLakeFormationDataAccess"
           }
       ]
   }
   

3. (オプション) 以下の PassRole インラインポリシーをユーザーにアタッチします。このポリシーは、データレイク管理者がワークフローを作成して実行できるようにします。iam:PassRole は、ワークフローが LakeFormationWorkflowRole ロールを引き受けてクローラとジョブを作成し、作成されたクローラとジョブにロールをアタッチすることを可能にします。ポリシーに推奨される名前は UserPassRole です。

   重要

   <account-id> を有効な AWS アカウント番号に置き換えます。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "PassRolePermissions",
               "Effect": "Allow",
               "Action": [
                   "iam:PassRole"
               ],
               "Resource": [
                   "arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }

4. (オプション) アカウントがクロスアカウント Lake Formation 許可を付与または受ける場合は、この追加のインラインポリシーをアタッチします。このポリシーにより、データレイク管理者は AWS Resource Access Manager （AWS RAM) リソース共有の招待を表示および承諾できます。また、 AWS Organizations 管理アカウントのデータレイク管理者の場合、ポリシーには組織へのクロスアカウント付与を有効にするアクセス許可が含まれます。詳細については、「Lake Formation でのクロスアカウントデータ共有」を参照してください。

   ポリシーに推奨される名前は RAMAccess です。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "ram:AcceptResourceShareInvitation",
                   "ram:RejectResourceShareInvitation",
                   "ec2:DescribeAvailabilityZones",
                   "ram:EnableSharingWithAwsOrganization"
               ],
               "Resource": "*"
           }
       ]
   }

5. https://console.aws.amazon.com/lakeformation/ で AWS Lake Formation コンソールを開き、 で作成した管理者ユーザーとして、管理アクセスを持つユーザーを作成するまたはユーザー AWS 管理ポリシーを持つAdministratorAccessユーザーとしてサインインします。

6. [Welcome to Lake Formation] (Lake Formation へようこそ) ウィンドウが表示されたら、ステップ 1 で作成または選択した IAM ユーザーを選択し、[Get started] (開始する) を選択します。

7. [Welcome to Lake Formation] (Lake Formation へようこそ) ウィンドウが表示されない場合は、以下の手順を実行して Lake Formation 管理者を設定します。

   1. ナビゲーションペインで、[管理者] の [管理ロールとタスク] を選択します。コンソールページの [データレイク管理者] セクションで、[追加] を選択します。

   2. [管理者を追加] ダイアログボックスで、[アクセスタイプ] の [データレイク管理者] を選択します。

   3. [IAM ユーザーおよびロール] として、ステップ 1 で作成または選択した IAM ユーザーを選択し、[保存] を選択します。

デフォルトの Data Catalog 設定を変更する

1. 引き続き Lake Formation コンソール (https://console.aws.amazon.com/lakeformation/) を使用します。で作成した管理者ユーザーとして、管理アクセスを持つユーザーを作成するまたは AdministratorAccess AWS 管理ポリシーを持つユーザーとしてサインインしていることを確認します。

2. Data Catalog 設定を変更します。

   1. ナビゲーションペインの [管理] で、[データカタログの設定] を選択します。

   2. 両方のチェックボックスをオフにして、[Save] (保存) を選択します。

      

3. データベース作成者の IAMAllowedPrincipals 許可を取り消します。

   1. ナビゲーションペインで、[管理] の [管理ロールとタスク] を選択します。

   2. [Administrative roles and tasks] (管理ロールとタスク) コンソールページの [Database creators] (データベース作成者) セクションで IAMAllowedPrincipals グループを選択し、[Revoke] (取り消す) を選択します。

      IAMAllowedPrincipals に [Create database] (データベースの作成) 許可があることを示す、許可の [Revoke] (取り消す) ダイアログボックスが表示されます。

   3. [Revoke] (取り消す) を選択します。

Lake Formation データにアクセスするためのアクセス許可を管理者以外のユーザーにアタッチするには

1. で IAM コンソールhttps://console.aws.amazon.com/iamを開き、 で作成した管理者ユーザーとして、管理アクセスを持つユーザーを作成するまたは AdministratorAccess AWS 管理ポリシーを持つユーザーとしてサインインします。

2. [ユーザー] または [ユーザーグループ] を選択します。

3. 一覧から、ポリシーを埋め込むユーザーまたはグループの名前を選択します。

   [アクセス許可] を選択します。

4. [アクセス許可の追加]、[ポリシーを直接アタッチする] の順に選択します。[Filter policies] (フィルターポリシー) テキストフィールドに「Athena」と入力します。結果のリストで、AmazonAthenaFullAccess のボックスをオンにします。

5. [Create policy] (ポリシーの作成) ボタンを選択します。[ポリシーの作成] ページで、[JSON] タブを選択します。以下のコードをコピーして、ポリシーエディタに貼り付けます。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"
               ],
               "Resource": "*"
           }
       ]
   }

6. 最下部にある [Next] (次へ) ボタンを繰り返し選択して、[Review policy] (ポリシーの確認) ページを表示します。ポリシーの名前を入力します (DatalakeUserBasic など)。[ポリシーを作成] を選択し、[ポリシー] タブまたはブラウザウィンドウを閉じます。

サードパーティーエンジンによるデータへのアクセスとフィルタリングを許可するようにオプトインするには (コンソール)

1. 引き続き Lake Formation コンソール (https://console.aws.amazon.com/lakeformation/) を使用します。Lake Formation の PutDataLakeSettings API 操作に対する IAM 許可を持つプリンシパルとしてサインインしていることを確認します。この許可は、「にサインアップする AWS アカウント」で作成した IAM 管理者ユーザーが持っています。

2. ナビゲーションペインの [管理] で、[アプリケーションの統合設定] を選択します。

3. [アプリケーションの統合設定] ページで、次の操作を行います。

   1. [Allow external engines to filter data in Amazon S3 locations registered with Lake Formation] (外部エンジンが、Lake Formation に登録された Amazon S3 ロケーション内のデータをフィルタリングすることを許可する) チェックボックスをオンにします。

   2. サードパーティーエンジン用に定義された [Session tag values] (セッションタグ値) を入力します。

   3. [AWS アカウント ID] に、Lake Formation に登録されているロケーションにサードパーティーのエンジンがアクセスできるアカウント ID を入力します。各アカウント ID の後で Enter キーを押します。

   4. [保存] を選択します。

ワークフロー用の IAM ロールを作成する

1. で IAM コンソールhttps://console.aws.amazon.com/iamを開き、 で作成した管理者ユーザーとして、管理アクセスを持つユーザーを作成するまたは AdministratorAccess AWS マネージドポリシーを持つユーザーとしてサインインします。

2. ナビゲーションペインで [Roles] (ロール)、[Create role] (ロールを作成) の順に選択します。

3. [Create role] (ロールを作成) ページで、[AWS service] (サービス) を選択して、[Glue] を選択します。[次へ] をクリックします。

4. アクセス許可の追加ページで、AWSGlueServiceRole管理ポリシーを検索し、リスト内のポリシー名の横にあるチェックボックスをオンにします。次に、ロールに LFWorkflowRole という名前を付けて、[Create role] (ロールを作成) ウィザードを完了します。最後に、[Create role] (ロールを作成) を選択します。

5. [Roles] (ロール) ページに戻り、LFflowRole を検索してロール名を選択します。

6. ロールの [概要] ページにある [アクセス許可] タブで、[インラインポリシーの作成] を選択します。[ポリシーの作成] 画面で、[JSON] タブに移動し、次のインラインポリシーを追加します。ポリシーに推奨される名前は LakeFormationWorkflow です。

   重要

   次のポリシーで、<account-id> を有効な AWS アカウント 番号に置き換えます。

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                    "lakeformation:GetDataAccess",
                    "lakeformation:GrantPermissions"
                ],
               "Resource": "*"
           },
           {
               "Effect": "Allow",
               "Action": ["iam:PassRole"],
               "Resource": [
                   "arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole"
               ]
           }
       ]
   }

   以下は、このポリシー内にある許可の簡単な説明です。

   • lakeformation:GetDataAccess は、ワークフローによって作成されたジョブによるターゲットロケーションへの書き込みを可能にします。

   • lakeformation:GrantPermissions は、ワークフローがターゲットテーブルに対する SELECT 許可を付与することを可能にします。

   • iam:PassRole は、サービスが LakeFormationWorkflowRole ロールを引き受けてクローラーとジョブ (ワークフローのインスタンス) を作成し、作成されたクローラーとジョブにロールをアタッチすることを可能にします。

7. LakeFormationWorkflowRole ロールに 2 つのポリシーがアタッチされていることを確認します。

8. データレイクロケーションの外にあるデータを取り込んでいる場合は、そのソースデータを読み取るための許可を付与するインラインポリシーを追加します。