Lake Formation의 JDBC 소스에서 데이터 레이크 생성

1. IAM에서 https://console.aws.amazon.com/iam 콘솔을 엽니다. 에서 생성한 관리자 사용자 관리자 액세스 권한이 있는 사용자 생성 또는 AdministratorAccess AWS 관리형 정책을 사용하는 사용자로 로그인합니다.

2. 다음 설정을 사용하여 datalake_user라는 사용자를 생성합니다.

   • AWS Management Console 액세스를 활성화합니다.

   • 암호를 설정합니다. 암호 재설정은 필요하지 않습니다.

   • AmazonAthenaFullAccess AWS 관리형 정책을 연결합니다.

   • 다음 인라인 정책을 연결합니다. 정책 이름을 DatalakeUserBasic로 지정합니다.

     {
         "Version": "2012-10-17",
         "Statement": [
             {
                 "Effect": "Allow",
                 "Action": [
                     "lakeformation:GetDataAccess",
                     "glue:GetTable",
                     "glue:GetTables",
                     "glue:SearchTables",
                     "glue:GetDatabase",
                     "glue:GetDatabases",
                     "glue:GetPartitions",
                     "lakeformation:GetResourceLFTags",
                     "lakeformation:ListLFTags",
                     "lakeformation:GetLFTag",
                     "lakeformation:SearchTablesByLFTags",
                     "lakeformation:SearchDatabasesByLFTags"                
                ],
                 "Resource": "*"
             }
         ]
     }

연결 생성

1. https://console.aws.amazon.com/glue/에서 AWS Glue 콘솔을 열고 관리자 액세스 권한이 있는 사용자 생성 섹션에서 생성한 관리자 사용자로 로그인합니다.

2. 탐색 창의 데이터 카탈로그에서 연결을 선택합니다.

3. [커넥터(Connectors)] 페이지에서 [사용자 정의 커넥터 생성(Create custom connector)]을 선택합니다.

4. 커넥터 속성 페이지에서 연결 datalake-tutorial 이름으로 를 입력하고 연결 유형으로 선택합니다 JDBC. 다음을 선택합니다.

5. 연결 마법사를 계속 진행하고 연결을 저장합니다.

   연결 생성에 대한 자세한 내용은 AWS Glue 개발자 안내서의AWS Glue JDBC 연결 속성을 참조하십시오.

1. 에서 https://console.aws.amazon.com/s3/Amazon S3 콘솔을 열고 생성한 관리자 사용자로 관리자 액세스 권한이 있는 사용자 생성 로그인합니다.

2. Create bucket (버킷 생성) 을 선택하고 마법사를 통해 이름이 지정된 <yourName>-datalake-tutorial 버킷을 생성합니다.<yourName> 첫 번째 이니셜이자 성입니다. 예: jdoe-datalake-tutorial.

   Amazon S3 버킷 생성에 대한 자세한 내용은 Amazon Simple Storage Service 사용 설명서의 버킷 생성을 참조하세요.

1. 에서 Lake Formation 콘솔을 엽니다 https://console.aws.amazon.com/lakeformation/. 데이터 레이크 관리자로 로그인합니다.

2. 탐색 창의 관리에서 데이터 레이크 위치를 선택합니다.

3. 위치 등록을 선택한 다음 찾아보기를 선택합니다.

4. 이전에 생성한 <yourName>-datalake-tutorial 버킷을 선택하고 기본 IAM 역할을 AWSServiceRoleForLakeFormationDataAccess 수락한 다음 [Register location] 을 선택합니다.

   위치 등록에 대한 자세한 내용은 데이터 레이크에 Amazon S3 위치 추가 섹션을 참조하세요.

1. Lake Formation 콘솔 탐색 창의 권한에서 데이터 위치를 선택합니다.

2. 권한 부여를 선택하고 권한 부여 대화 상자에서 다음을 수행합니다.

   1. IAM사용자 및 역할의 경우 선택하십시오. LakeFormationWorkflowRole

   2. 스토리지 위치에 대해 <yourName>-datalake-tutorial 버킷을 선택합니다.

3. 권한 부여를 선택합니다.

1. Lake Formation 콘솔 탐색 창의 데이터 카탈로그에서 데이터베이스를 선택합니다.

2. 데이터베이스 생성을 선택하고 데이터베이스 세부 정보에서 이름 lakeformation_tutorial을 입력합니다.

3. 다른 필드는 비워 두고 데이터베이스 생성을 선택합니다.

1. Lake Formation 콘솔 탐색 창의 권한에서 데이터 레이크 권한을 선택합니다.

2. 권한 부여를 선택하고 데이터 권한 부여 대화 상자에서 다음을 수행합니다.

   1. [주체] 에서 [IAM사용자 및 역할] 을 선택합니다. LakeFormationWorkflowRole

   2. LF 태그 또는 카탈로그 리소스에서 명명된 데이터 카탈로그 리소스를 선택합니다.

   3. 데이터베이스에 대해 이전에 생성한 데이터베이스 lakeformation_tutorial을 선택합니다.

   4. 데이터베이스 권한에서 테이블 생성, 변경 및 삭제를 선택하고 슈퍼 옵션이 선택되어 있으면 선택을 취소합니다.

3. 권한 부여를 선택합니다.

1. Lake Formation 콘솔의 탐색 창에서 청사진을 선택한 다음 청사진 사용을 선택합니다.

2. 청사진 사용 페이지의 청사진 유형에서 데이터베이스 스냅샷을 선택합니다.

3. 소스 가져오기에서 데이터베이스 연결에 대해 방금 생성한 연결(datalake-tutorial)을 선택하거나 데이터 소스에 대한 기존 연결을 선택합니다.

4. 소스 데이터 경로의 경우 데이터를 수집할 경로를 <database>/<schema>/<table> 양식에 입력합니다.

   스키마 또는 테이블 대신 백분율(%) 와일드카드를 사용할 수 있습니다. 스키마를 지원하는 데이터베이스의 경우 다음을 입력하십시오.<database>/<schema>/%를 선택하면 다음 테이블의 모든 테이블이 일치합니다.<schema> 내에서 <database>. Oracle Database 및 My는 경로의 스키마를 SQL 지원하지 않습니다. 대신 다음을 입력하십시오.<database>/%. 오라클 데이터베이스의 경우 <database> 시스템 식별자 (SID) 입니다.

   예를 들어, Oracle 데이터베이스에 해당 SID 데이터베이스가 orcl 있는 경우 JDCB 연결에서 지정한 사용자가 액세스할 수 있는 모든 테이블과 orcl/% 일치하도록 입력하십시오.

   중요

   이 필드는 대/소문자를 구분합니다.

5. 대상 가져오기에서 다음 파라미터를 지정합니다.

   대상 데이터베이스	lakeformation_tutorial
   대상 스토리지 위치	s3://<yourName>-datalake-tutorial
   데이터 형식	(Parquet 또는 CSV Parquet 선택)

6. 가져오기 빈도에 대해서는 온디맨드 실행을 선택합니다.

7. 가져오기 옵션에서 다음 파라미터를 지정합니다.

   워크플로 이름	lakeformationjdbctest
   IAM역할	LakeFormationWorkflowRole
   테이블 접두사	jdbctest 참고 소문자여야 합니다.

8. 생성을 선택하고 콘솔에서 워크플로가 성공적으로 생성되었음을 보고할 때까지 기다립니다.

   작은 정보

   다음과 같은 오류 메시지가 표시되나요?

   User: arn:aws:iam::<account-id>:user/<datalake_administrator_user> is not authorized to perform: iam:PassRole on resource:arn:aws:iam::<account-id>:role/LakeFormationWorkflowRole...

   그렇다면 교체했는지 확인하세요.<account-id> 유효한 AWS 계정 번호가 있는 데이터 레이크 관리자 사용자에 대한 인라인 정책에서

1. Lake Formation 콘솔의 청사진 페이지에서 lakeformationjdbctest 워크플로를 선택합니다.

2. 작업을 선택하고 시작을 선택합니다.

3. 워크플로가 실행되면 마지막 실행 상태 열에서 진행 상황을 봅니다. 가끔 새로 고침 버튼을 선택합니다.

   상태는 에서 RUNNING, 검색, 가져오기, 로 이동합니다. COMPLETED

   워크플로가 완료되면:

   • 데이터 카탈로그에 새 메타데이터 테이블이 포함됩니다.

   • 데이터가 데이터 레이크에 수집됩니다.

   워크플로가 실패하면 다음을 수행합니다.

   1. 워크플로를 선택합니다. 작업을 선택한 후 그래프 보기를 선택합니다.

      워크플로가 AWS Glue 콘솔에서 열립니다.

   2. 워크플로를 선택하고 기록 탭을 선택합니다.

   3. 가장 최근 실행을 선택하고 실행 세부 정보 보기를 선택합니다.

   4. 동적(런타임) 그래프에서 실패한 작업이나 크롤러를 선택하고 오류 메시지를 검토합니다. 장애가 발생한 노드는 빨간색 또는 노란색입니다.

1. Lake Formation 콘솔 탐색 창의 권한에서 데이터 레이크 권한을 선택합니다.

2. 권한 부여를 선택하고 데이터 권한 부여 대화 상자에서 다음을 수행합니다.

   1. [주체] 에서 IAM 사용자 및 역할에 대해 선택합니다. datalake_user

   2. LF 태그 또는 카탈로그 리소스에서 명명된 데이터 카탈로그 리소스를 선택합니다.

   3. 데이터베이스에서 lakeformation_tutorial을 선택합니다.

      테이블 목록이 채워집니다.

   4. 테이블의 경우 데이터 소스에서 테이블을 하나 이상 선택합니다.

   5. 테이블 및 열 권한에서 선택을 선택합니다.

3. 권한 부여를 선택합니다.

1. 에서 Athena 콘솔을 열고 데이터 분석가 https://console.aws.amazon.com/athena/, 사용자로 로그인합니다. datalake_user

2. 필요한 경우 시작하기를 선택하여 Athena 쿼리 편집기로 계속 진행합니다.

3. Data source(데이터 원본)에 AwsDataCatalog을 선택합니다.

4. Database(데이터베이스)에서 lakeformation_tutorial를 선택합니다.

   테이블 목록이 채워집니다.

5. 테이블 중 하나 옆에 있는 팝업 메뉴에서 테이블 미리 보기를 선택합니다.

   쿼리가 실행되고 10개의 데이터 행이 표시됩니다.

Amazon Redshift 쿼리를 실행할 권한을 설정하려면

1. 에서 IAM https://console.aws.amazon.com/iam/콘솔을 엽니다. 에서 생성한 관리자 사용자 관리자 액세스 권한이 있는 사용자 생성 (사용자 이름Administrator) 또는 AdministratorAccess AWS 관리형 정책을 사용하는 사용자로 로그인합니다.

2. 탐색 창에서 Policies를 선택합니다.

   정책을 처음으로 선택하는 경우 관리형 정책 소개 페이지가 나타납니다. 시작하기(Get Started)를 선택합니다.

3. 정책 생성을 선택합니다.

4. JSON탭을 선택합니다.

5. 다음 JSON 정책 문서에 붙여넣습니다.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "lakeformation:GetDataAccess",
                   "glue:GetTable",
                   "glue:GetTables",
                   "glue:SearchTables",
                   "glue:GetDatabase",
                   "glue:GetDatabases",
                   "glue:GetPartitions",
                   "lakeformation:GetResourceLFTags",
                   "lakeformation:ListLFTags",
                   "lakeformation:GetLFTag",
                   "lakeformation:SearchTablesByLFTags",
                   "lakeformation:SearchDatabasesByLFTags"                
              ],
               "Resource": "*"
           }
       ]
   }

6. 작업이 완료되면 검토를 선택하여 정책을 검토합니다. 정책 검사기가 모든 구문 오류를 보고합니다.

7. 정책 검토 페이지의 이름에 생성 중인 정책의 이름으로 RedshiftLakeFormationPolicy를 입력합니다. 설명을 입력합니다(선택 사항). 정책 요약을 검토하여 정책이 부여한 권한을 확인합니다. 그런 다음 정책 생성을 선택하여 작업을 저장합니다.

8. IAM콘솔의 탐색 창에서 [Roles] 를 선택한 다음 [Create role] 을 선택합니다.

9. 신뢰할 수 있는 엔터티 선택(Select trusted entity)에서 AWS 서비스( service)를 선택합니다.

10. 이 역할을 맡을 Amazon Redshift 서비스를 선택합니다.

11. 서비스에 대해 Redshift Customizable(Redshift 사용자 지정) 사용 사례를 선택합니다. 그런 다음 다음: 권한을 선택합니다.

12. 생성한 권한 정책 RedshiftLakeFormationPolicy를 검색하고 목록에서 정책 이름 옆에 있는 확인란을 선택합니다.

13. 다음: 태그를 선택합니다.

14. 다음: 검토를 선택합니다.

15. 역할 이름에 이름 RedshiftLakeFormationRole을 입력합니다.

16. (선택 사항) Role description(역할 설명)에 새 역할에 대한 설명을 입력합니다.

17. 역할을 검토한 다음 역할 생성을 선택합니다.

Lake Formation 데이터베이스에서 쿼리할 테이블에 대한 Select 권한을 부여하려면

1. 에서 Lake Formation 콘솔을 엽니다 https://console.aws.amazon.com/lakeformation/. 데이터 레이크 관리자로 로그인합니다.

2. 탐색 창의 권한에서 데이터 레이크 권한을 선택한 다음 권한 부여를 선택합니다.

3. 다음 정보를 제공합니다.

   • IAM사용자 및 역할의 경우 생성한 IAM 역할을 선택합니다RedshiftLakeFormationRole. Amazon Redshift 쿼리 편집기를 실행하면 데이터에 대한 권한 부여를 위해 이 IAM 역할을 사용합니다.

   • Database(데이터베이스)에서 lakeformation_tutorial를 선택합니다.

     테이블 목록이 채워집니다.

   • 테이블에서 쿼리할 데이터 소스 내의 테이블을 선택합니다.

   • 선택 테이블 권한을 선택합니다.

4. 권한 부여를 선택합니다.

Amazon Redshift Spectrum을 설정하고 쿼리를 실행하려면

1. https://console.aws.amazon.com/redshift에서 Amazon Redshift 콘솔을 엽니다. 사용자 Administrator로 로그인합니다.

2. 클러스터 생성을 선택합니다.

3. 클러스터 생성 페이지에서 클러스터 식별자로 redshift-lakeformation-demo를 입력합니다.

4. 노드 유형으로는 dc2.large를 선택합니다.

5. 아래로 스크롤하고 데이터베이스 구성에서 다음 파라미터를 입력하거나 수락합니다.

   • 관리자 사용자 이름: awsuser

   • 관리자 사용자 암호: (Choose a password)

6. 클러스터 권한을 확장하고 사용 가능한 IAM 역할에서 선택합니다 RedshiftLakeFormationRole. 그런 다음 IAM역할 추가를 선택합니다.

7. 기본값인 5439가 아닌 다른 포트를 사용해야 하는 경우 추가 구성 옆에 있는 기본값 사용 옵션을 끕니다. 데이터베이스 구성 섹션을 확장하고 새 데이터베이스 포트 번호를 입력합니다.

8. 클러스터 생성을 선택합니다.

   클러스터 페이지가 로드됩니다.

9. 클러스터 상태가 사용 가능이 될 때까지 기다립니다. 주기적으로 새로 고침 아이콘을 선택합니다.

10. 데이터 분석가에게 클러스터에 대해 쿼리를 실행할 수 있는 권한을 부여합니다. 이렇게 하려면 다음 단계를 완료합니다.

    1. 에서 IAM https://console.aws.amazon.com/iam/콘솔을 열고 사용자로 Administrator 로그인합니다.

    2. 탐색 창에서 사용자를 선택하고 다음 관리형 정책을 사용자 datalake_user에게 연결합니다.

       • AmazonRedshiftQueryEditor

       • AmazonRedshiftReadOnlyAccess

11. Amazon Redshift 콘솔에서 로그아웃하고 datalake_user 사용자로 다시 로그인합니다.

12. 왼쪽 세로 도구 모음에서 EDITOR아이콘을 선택하여 쿼리 편집기를 열고 클러스터에 연결합니다. 데이터베이스에 연결 대화 상자가 나타나면 클러스터 이름 redshift-lakeformation-demo를 선택하고 데이터베이스 이름 dev, 사용자 이름 awsuser 및 생성한 암호를 입력합니다. 그런 다음 Connect to database(데이터베이스에 연결)를 선택합니다.

    참고

    연결 파라미터를 입력하라는 메시지가 표시되지 않고 쿼리 편집기에 다른 클러스터가 이미 선택되어 있는 경우 연결 변경을 선택하여 데이터베이스에 연결 대화 상자를 엽니다.

13. 새 쿼리 1 텍스트 상자에 다음 명령문을 입력하고 실행하여 Lake Formation의 데이터베이스 lakeformation_tutorial을 Amazon Redshift 스키마 이름 redshift_jdbc에 매핑합니다.

    중요

    Replace <account-id> 유효한 AWS 계좌 번호를 가지고,<region> 유효한 AWS 지역 이름 (예:us-east-1) 으로

    create external schema if not exists redshift_jdbc from DATA CATALOG database 'lakeformation_tutorial' iam_role 'arn:aws:iam::<account-id>:role/RedshiftLakeFormationRole' region '<region>';

14. 스키마 선택의 스키마 목록에서 redshift_jdbc를 선택합니다.

    테이블 목록이 채워집니다. 쿼리 편집기에는 Lake Formation 데이터 레이크 권한이 부여된 테이블만 표시됩니다.

15. 테이블 이름 옆의 팝업 메뉴에서 데이터 미리 보기를 선택합니다.

    Amazon Redshift는 처음 10개 행을 반환합니다.

    이제 권한이 있는 테이블과 열에 대해 쿼리를 실행할 수 있습니다.