가져오기

Athena에서 Data Wrangler로 데이터세트를 가져오려면

1. Amazon SageMaker AI 콘솔에 로그인합니다.

2. Studio를 선택합니다.

3. Launch app(앱 시작)을 선택합니다.

4. 드롭다운 목록에서 Studio를 선택합니다.

5. 홈 아이콘을 선택합니다.

6. Data(데이터)를 선택합니다.

7. Data Wrangler를 선택합니다.

8. 데이터 가져오기(Import data)을 선택합니다.

9. 사용 가능(Available) 아래에서 Amazon Athena를 선택합니다.

10. 데이터 카탈로그(Data Catalog)에서 데이터 카탈로그를 선택합니다.

11. 데이터베이스(Database) 드롭다운 목록에서 쿼리하려는 데이터베이스를 선택합니다. 데이터베이스를 선택하면 표(Tables)(세부정보(Details) 아래)에서 전체 표를 미리보기할 수 있습니다.

12. (선택 사항) 고급 구성(Advanced configuration)을 선택합니다.

    1. 작업 그룹(Workgroup)을 선택합니다.

    2. 작업 그룹이 Amazon S3 출력 위치를 적용하지 않았거나 작업 그룹을 사용하지 않는 경우, 쿼리 결과의 Amazon S3 위치(Amazon S3 location of query results) 값을 지정합니다.

    3. (선택 사항) 데이터 보존 기간(Data retention period)에서 확인란을 선택하여 데이터 보존 기간을 설정하고 삭제 전까지 저장할 일수를 지정합니다.

    4. (선택 사항) 기본적으로 Data Wrangler는 연결을 저장합니다. 확인란 선택을 해제하여 연결을 저장하지 않을 수 있습니다.

13. 샘플링(Sampling)에서 샘플링 메서드를 선택합니다. 샘플링을 비활성화하려면 없음(None)을 선택합니다.

14. 쿼리 편집기에 쿼리를 입력하고 실행(Run) 버튼을 사용하여 쿼리를 실행합니다. 쿼리가 성공하면 편집기에서 결과를 미리 볼 수 있습니다.

    참고

    Salesforce 데이터는 timestamptz 유형을 사용합니다. Salesforce에서 Athena로 가져온 타임스탬프 열을 쿼리하는 경우 열의 데이터를 timestamp 유형으로 캐스팅합니다. 다음 쿼리는 타임스탬프 열을 올바른 유형으로 캐스팅합니다.

    
    # cast column timestamptz_col as timestamp type, and name it as timestamp_col
    select cast(timestamptz_col as timestamp) as timestamp_col from table
                            

15. 쿼리 결과를 가져오려면 가져오기(Import)를 선택합니다.

수명 주기 구성 관리 권한을 부여하는 방법은 다음과 같습니다.

1. 에 로그인 AWS Management Console 하고 https://console.aws.amazon.com/iam/ IAM 콘솔을 엽니다.

2. 역할을 선택합니다.

3. 검색 창에서 Amazon SageMaker Studio Classic에서 사용 중인 Amazon SageMaker AI 실행 역할을 지정합니다.

4. 역할을 선택합니다.

5. 권한 추가를 선택합니다.

6. 인라인 정책 생성(Create inline policy)을 선택합니다.

7. 서비스(Service)에서 S3를 지정하고 선택합니다.

8. 읽기(Read) 섹션 아래에서 GetLifecycleConfiguration을 선택합니다.

9. 쓰기(Write) 섹션 아래에서 PutLifecycleConfiguration을 선택합니다.

10. 리소스에서 특정 항목을 선택합니다.

11. 작업(Actions)에서 권한 관리(Permissions management) 옆 화살표 아이콘을 선택합니다.

12. PutResourcePolicy를 선택합니다.

13. 리소스에서 특정 항목을 선택합니다.

14. 이 계정에서 모두(Any in this account) 옆 확인란을 선택합니다.

15. 정책 검토를 선택합니다.

16. 이름(Name)에서 이름을 지정합니다.

17. 정책 생성(Create policy)을 선택합니다.

Amazon Redshift 클러스터에 연결하려면

1. Amazon SageMaker AI 콘솔에 로그인합니다.

2. Studio를 선택합니다.

3. Launch app(앱 시작)을 선택합니다.

4. 드롭다운 목록에서 Studio를 선택합니다.

5. 홈 아이콘을 선택합니다.

6. Data(데이터)를 선택합니다.

7. Data Wrangler를 선택합니다.

8. 데이터 가져오기(Import data)을 선택합니다.

9. 사용 가능(Available) 아래에서 Amazon Athena를 선택합니다.

10. Amazon Redshift를 선택합니다.

11. 임시 자격 증명(IAM)(Temporary credentials (IAM))을 유형(Type)으로 선택합니다.

12. 연결 이름(Connection Name)을 입력합니다. 이 이름은 Data Wrangler가 연결을 식별할 때 사용됩니다.

13. 클러스터 식별자(Cluster Identifier)를 입력하여 연결하려는 클러스터를 지정합니다. 참고: Amazon Redshift 클러스터의 전체 엔드포인트는 제외하고 클러스터 식별자만 입력합니다.

14. 연결할 데이터베이스의 데이터베이스 이름(Database Name)을 입력합니다.

15. 데이터베이스 사용자(Database User)를 입력하여 데이터베이스 연결 시 사용할 사용자를 식별합니다.

16. UNLOAD IAM Role에 Amazon Redshift 클러스터가 Amazon S3로 데이터를 이동 및 쓰기 위해 맡아야 역할의 IAM 역할 ARN을 입력합니다. 이 역할에 대한 자세한 내용은 Amazon Redshift 관리 안내서의 Amazon Redshift가 사용자를 대신하여 다른 AWS 서비스에 액세스할 수 있도록 권한을 부여하기를 참조하세요.

17. 연결을 선택합니다.

18. (선택 사항) Amazon S3 출력 위치(Amazon S3 output location)에서 쿼리 결과를 저장할 S3 URI를 지정합니다.

19. (선택 사항) KMS 키 ID(KMS key ID)에서 AWS KMS 키 또는 별칭의 ARN을 지정합니다. 다음 이미지에서 AWS Management Console에서 두 키 중 하나를 찾을 수 있는 위치를 볼 수 있습니다.

    

Amazon Redshift에서 데이터 쿼리 및 가져오기

1. 데이터 소스(Data Source)에서 쿼리할 연결을 선택합니다.

2. 스키마(Schema)를 선택합니다. Amazon Redshift 스키마에 대한 자세한 내용은 Amazon Redshift 데이터베이스 개발 안내서에 있는 스키마에서 확인하세요.

3. (선택 사항) 고급 구성(Advanced configuration) 아래에서 사용하려는 샘플링(Sampling) 메서드를 지정합니다.

4. 쿼리 편집기에서 쿼리를 입력한 다음 실행(Run)을 선택하여 쿼리를 실행합니다. 쿼리가 성공하면 편집기에서 결과를 미리 볼 수 있습니다.

5. 데이터세트 가져오기(Import dataset)를 선택하여 쿼리된 데이터세트를 가져옵니다.

6. 데이터세트 이름(Dataset name)을 입력합니다. 공백이 포함된 데이터세트 이름 추가 시, 데이터세트를 가져올 때 공백이 밑줄로 바뀝니다.

7. 추가를 선택합니다.

데이터세트를 편집하는 방법은 다음과 같습니다.

1. Data Wrangler 흐름으로 이동합니다.

2. 원본 - 샘플 추출(Source - Sampled) 옆 +를 선택합니다.

3. 가져오려는 데이터를 변경합니다.

4. 적용을 선택합니다

VPC에서 Studio Classic을 실행하는 방법은 다음과 같습니다.

1. https://console.aws.amazon.com/sagemaker/ SageMaker AI 콘솔로 이동합니다.

2. SageMaker Studio Classic 시작을 선택합니다.

3. 표준 설정을 선택합니다.

4. 기본 실행 역할에서 Studio Classic 설정 시 필요한 IAM 역할을 선택합니다.

5. Amazon EMR 클러스터를 시작한 VPC를 선택합니다.

6. Subnet(서브넷)에서 프라이빗 서브넷을 선택합니다.

7. 보안 그룹(Security group(s))에서 VPC 간 제어 시 사용하는 보안 그룹을 지정합니다.

8. VPC 전용(VPC Only)을 선택합니다.

9. (선택 사항)기본 암호화 키를 AWS 사용합니다. AWS Key Management Service 키를 지정하여 데이터를 암호화할 수도 있습니다.

10. Next(다음)를 선택합니다.

11. Studio 설정(Studio settings)에서 본인에게 가장 적합한 구성을 선택합니다.

12. 다음을 선택하여 SageMaker Canvas 설정을 건너뜁니다.

13. 다음을 선택하여 RStudio 설정을 건너뜁니다.

클러스터를 생성하는 방법은 다음과 같습니다.

1. AWS Management Console로 이동합니다.

2. 검색창에서 Amazon EMR을 지정합니다.

3. 클러스터 생성을 선택합니다.

4. 클러스터 이름(Cluster name)에 클러스터의 이름을 입력합니다.

5. 릴리스(Release)에서 클러스터의 릴리스 버전을 선택합니다.

   참고

   Amazon EMR은 다음 릴리스에 대해 자동 종료를 지원합니다.

   • 6.x 릴리스 버전 6.1.0 이상.

   • 5.x 릴리스 버전 5.30.0 이상.

   자동 종료는 유휴 클러스터의 실행을 중지하고 비용 발생을 방지합니다.

6. (선택 사항) 애플리케이션(Applications)에서 Presto를 선택합니다.

7. 클러스터에서 실행 중인 애플리케이션을 선택합니다.

8. 네트워킹(Networking) 아래 하드웨어 구성(Hardware configuration)에서 하드웨어 구성 설정을 지정합니다.

   중요

   네트워킹에서 Amazon SageMaker Studio Classic을 실행하는 VPC를 선택하고 프라이빗 서브넷을 선택합니다.

9. 보안 및 액세스(Security and access)에서 보안 설정을 지정합니다.

10. 생성(Create)을 선택합니다.

클러스터에서 데이터를 가져오는 방법은 다음과 같습니다.

1. Data Wrangler 흐름을 엽니다.

2. 연결 생성을 선택합니다.

3. Amazon EMR을 선택합니다.

4. 다음 중 하나를 수행하세요.

   • (선택 사항) 보안 암호 ARN(Secrets ARN)에서 클러스터 내 데이터베이스의 Amazon 리소스 번호(ARN)를 지정합니다. 보안 암호는 보안을 강화합니다. 보안 암호에 대한 자세한 내용은 이란 무엇입니까 AWS Secrets Manager?를 참조하세요. 클러스터용 보안 암호 생성에 대한 자세한 정보는 클러스터의 AWS Secrets Manager 보안 암호 생성에서 확인하세요.

     중요

     인증 시 IAM 런타임 역할을 사용하는 경우 보안 암호를 지정해야 합니다.

   • 드롭다운 테이블에서 클러스터를 선택합니다.

5. Next(다음)를 선택합니다.

6. example-cluster-name 클러스터 엔드포인트 선택에서 쿼리 엔진을 선택합니다.

7. (선택 사항) 연결 저장(Save connection)을 선택합니다.

8. 다음, 로그인 선택 후 다음 중 하나를 선택합니다.

   • 미 인증

   • LDAP

   • IAM

9. example-cluster-name 클러스터 로그인에서 클러스터 사용자명과 비밀번호를 지정합니다.

10. 연결을 선택합니다.

11. 쿼리 편집기에서 SQL 쿼리를 지정합니다.

12. Run(실행)을 선택합니다.

13. 가져오기를 선택합니다.

자격 증명을 보안 암호로 저장하는 방법은 다음과 같습니다.

1. AWS Management Console로 이동합니다.

2. 검색 창에 Secrets Manager를 지정합니다.

3. AWS Secrets Manager를 선택합니다.

4. 새 암호 저장을 선택합니다.

5. 보안 암호 유형에서 다른 유형의 보안 암호를 선택합니다.

6. 키/값(Key/value) 쌍 아래에서 일반 텍스트(Plaintext)를 선택합니다.

7. Hive 실행 클러스터의 경우, IAM 인증에 다음 템플릿을 사용할 수 있습니다.

   
   {"jdbcURL": ""
    "iam_auth": {"endpoint": "jdbc:hive2://", #required
                   "dns": "ip-xx-x-xxx-xxx.ec2.internal", #required 
                   "port": "10000", #required
                 "cluster_id": "j-xxxxxxxxx", #required
                 "iam_role": "arn:aws:iam::xxxxxxxx:role/xxxxxxxxxxxx", #optional
                 "truststore_path": "/etc/alternatives/jre/lib/security/cacerts", #optional
                 "truststore_password": "changeit" #optional
                 
                 }}                               
                               

   참고

   데이터를 가져온 후 해당 데이터에 변환을 적용합니다. 그런 다음 변환한 데이터를 특정 위치로 내보냅니다. Jupyter notebook으로 변환된 데이터를 Amazon S3로 내보내는 경우, 이전 예제에서 지정된 신뢰 저장소 경로를 사용해야 합니다.

JDBC URL을 보안 암호로 저장하는 방법은 다음과 같습니다.

1. AWS Management Console로 이동합니다.

2. 검색 창에 Secrets Manager를 지정합니다.

3. AWS Secrets Manager를 선택합니다.

4. 새 암호 저장을 선택합니다.

5. 보안 암호 유형에서 다른 유형의 보안 암호를 선택합니다.

6. 키/값 쌍(Key/value pairs)에서 jdbcURL을(를) 키로, 유효한 JDBC URL을 값으로 지정합니다.

   유효한 JDBC URL의 형식은 인증 사용 여부 및 쿼리 엔진으로 Hive 또는 Presto 사용 여부에 따라 달라집니다. 다음 목록에는 가능한 여러 구성에 사용할 수 있는 유효한 JBDC URL 형식이 있습니다.

   • Hive, 미 인증 – jdbc:hive2://emr-cluster-master-public-dns:10000/;

   • Hive, LDAP 인증 - jdbc:hive2://emr-cluster-master-public-dns-name:10000/;AuthMech=3;UID=david;PWD=welcome123;

   • SSL이 활성화된 Hive의 경우 JDBC URL 형식은 TLS 구성에 Java Keystore File 사용 여부에 따라 달라집니다. Java Keystore File은 Amazon EMR 클러스터의 마스터 노드 ID를 확인하는 데 도움이 됩니다. Java Keystore File을 사용하려면 EMR 클러스터에서 파일을 생성하고 Data Wrangler에 업로드합니다. 파일을 생성하려면 Amazon EMR 클러스터 keytool -genkey -alias hive -keyalg RSA -keysize 1024 -keystore hive.jks에서 다음 명령을 사용합니다. Amazon EMR 클러스터에서 명령을 실행하는 방법은 AWS Systems Manager(으)로 EMR 클러스터 액세스 보안 확립하기에서 확인하세요. 파일을 업로드하려면 Data Wrangler UI 왼쪽 탐색창에서 위쪽 화살표를 선택합니다.

     SSL이 활성화된 Hive에 사용할 수 있는 유효한 JDBC URL 형식은 다음과 같습니다.

     • Java Keystore File이 없는 경우 - jdbc:hive2://emr-cluster-master-public-dns:10000/;AuthMech=3;UID=user-name;PWD=password;SSL=1;AllowSelfSignedCerts=1;

     • Java Keystore File이 있는 경우 - jdbc:hive2://emr-cluster-master-public-dns:10000/;AuthMech=3;UID=user-name;PWD=password;SSL=1;SSLKeyStore=/home/sagemaker-user/data/Java-keystore-file-name;SSLKeyStorePwd=Java-keystore-file-passsword;

   • Presto, 미 인증 – jdbc:presto://emr-cluster-master-public-dns:8889/;

   • LDAP 인증 및 SSL 활성화 Presto의 경우 JDBC URL 형식은 TLS 구성에 Java Keystore File 사용 여부에 따라 달라집니다. Java Keystore File은 Amazon EMR 클러스터의 마스터 노드 ID를 확인하는 데 도움이 됩니다. Java Keystore File을 사용하려면 EMR 클러스터에서 파일을 생성하고 Data Wrangler에 업로드합니다. 파일을 업로드하려면 Data Wrangler UI 왼쪽 탐색창에서 위쪽 화살표를 선택합니다. Presto용 Java Keystore File 생성 방법은 TLS용 Java Keystore File에서 확인하세요. Amazon EMR 클러스터에서 명령을 실행하는 방법은 AWS Systems Manager(으)로 EMR 클러스터 액세스 보안 확립하기에서 확인하세요.

     • Java Keystore File이 없는 경우 - jdbc:presto://emr-cluster-master-public-dns:8889/;SSL=1;AuthenticationType=LDAP Authentication;UID=user-name;PWD=password;AllowSelfSignedServerCert=1;AllowHostNameCNMismatch=1;

     • Java Keystore File이 있는 경우 - jdbc:presto://emr-cluster-master-public-dns:8889/;SSL=1;AuthenticationType=LDAP Authentication;SSLTrustStorePath=/home/sagemaker-user/data/Java-keystore-file-name;SSLTrustStorePwd=Java-keystore-file-passsword;UID=user-name;PWD=password;

Secrets Manager에게 권한을 부여하는 방법은 다음과 같습니다.

1. 에 로그인 AWS Management Console 하고 https://console.aws.amazon.com/iam/ IAM 콘솔을 엽니다.

2. 역할을 선택합니다.

3. 검색 창에서 Amazon SageMaker Studio Classic에서 사용 중인 Amazon SageMaker AI 실행 역할을 지정합니다.

4. 역할을 선택합니다.

5. 권한 추가를 선택합니다.

6. 인라인 정책 생성(Create inline policy)을 선택합니다.

7. 서비스(Service)에서 Secrets Manager를 지정하고 선택합니다.

8. 작업(Actions)에서 권한 관리(Permissions management) 옆 화살표 아이콘을 선택합니다.

9. PutResourcePolicy를 선택합니다.

10. 리소스에서 특정 항목을 선택합니다.

11. 이 계정에서 모두(Any in this account) 옆 확인란을 선택합니다.

12. 정책 검토를 선택합니다.

13. 이름(Name)에서 이름을 지정합니다.

14. 정책 생성(Create policy)을 선택합니다.

Databricks에서 데이터를 가져오는 방법은 다음과 같습니다.

1. Amazon SageMaker AI 콘솔에 로그인합니다.

2. Studio를 선택합니다.

3. Launch app(앱 시작)을 선택합니다.

4. 드롭다운 목록에서 Studio를 선택합니다.

5. Data Wrangler 흐름의 데이터 가져오기(Import data) 탭에서 Databricks를 선택합니다.

6. 다음 필드를 지정합니다.

   • 데이터세트 이름(Dataset name) - Data Wrangler 흐름에 있는 데이터세트에 사용할 이름.

   • 드라이버(Driver) – com.simba.spark.jdbc.Driver.

   • JDBC URL – Databricks 데이터베이스의 URL. URL 형식은 Databricks 인스턴스마다 다를 수 있습니다. URL을 찾고 그 내부에서 파라미터를 지정하는 방법은 JDBC 구성 및 연결 파라미터에서 확인하세요. 다음은 URL 형식을 지정하는 방법에 대한 예제입니다. jdbc:spark://aws-sagemaker-datawrangler.cloud.databricks.com:443/default;transportMode=http;ssl=1;httpPath=sql/protocolv1/o/3122619508517275/0909-200301-cut318;AuthMech=3;UID=token;PWD=personal-access-token.

     참고

     JDBC URL 자체를 지정하는 대신 JDBC URL이 포함된 보안 ARN을 지정할 수 있습니다. 보안 암호에는 jdbcURL:JDBC-URL 형식의 키-값 쌍이 포함되어야 합니다. 자세한 정보는 Secrets Manager란 무엇입니까?에서 확인하세요.

7. SQL SELECT 문을 지정합니다.

   참고

   Data Wrangler는 쿼리 내의 공통 테이블 표현식(CTE) 또는 임시 테이블을 지원하지 않습니다.

8. 샘플링(Sampling)에서 샘플링 메서드를 선택합니다.

9. Run(실행)을 선택합니다.

10. (선택 사항) 미리보기(PREVIEW)에서 기어 모양 아이콘을 선택하여 파티션 설정(Partition settings)을 엽니다.

    1. 파티션 수를 지정합니다. 파티션 수를 지정하면 열별로 파티션을 나눌 수 있습니다.

       • 파티션 수 입력(Enter number of partitions) - 2보다 큰 값을 지정합니다.

       • (선택 사항) 열별 파티셔닝(Partition by column) - 다음 필드를 지정합니다. 파티션 수 입력 값을 지정한 경우에만 열별 파티셔닝이 가능합니다.

         • 열 선택(Select column) - 데이터 파티션에 사용할 열을 선택합니다. 열의 데이터 유형은 숫자 또는 날짜여야 합니다.

         • 상한(Upper bound) - 지정한 열 값 중에서 상한은 파티션에서 사용하는 값입니다. 지정하는 값은 가져오는 데이터를 변경하지 않습니다. 가져오기 속도에만 영향을 줍니다. 최상의 성능을 위해 열의 최대값에 가깝게 상한을 지정합니다.

         • 하한(Lower bound) - 지정한 열 값 중에서 하한은 파티션에서 사용하는 값입니다. 지정하는 값은 가져오는 데이터를 변경하지 않습니다. 가져오기 속도에만 영향을 줍니다. 최상의 성능을 위해 열의 최소값에 가깝게 하한을 지정합니다.

11. 가져오기를 선택합니다.

1. Salesforce 로그인 페이지로 이동합니다.

2. 빠른 찾기(Quick find)에서 내 도메인(My Domain)을 지정합니다.

3. 현재 내 도메인 URL(Current My Domain URL) 값을 텍스트 파일에 복사합니다.

4. https://를 URL 시작 부분에 추가합니다.

Salesforce에서 로그인 자격 증명을 가져와 Data Wrangler에 액세스 권한을 부여하는 방법은 다음과 같습니다.

1. Salesforce 도메인 URL로 이동하여 사용자 계정에 로그인합니다.

2. 기어 모양 아이콘을 선택합니다.

3. 표시되는 검색 창에서 앱 관리자(App Manager)를 지정합니다.

4. 새로 연결된 앱(New Connected App)을 선택합니다.

5. 다음 필드를 지정합니다.

   • 연결된 앱 이름(Connected App Name) - 이름은 마음대로 지정할 수 있으나, Data Wrangler가 포함된 이름을 선택할 것을 권장합니다. 예를 들어, Salesforce 데이터 클라우드 Data Wrangler 통합으로 지정할 수 있습니다.

   • API 이름(API name) - 기본값을 사용합니다.

   • 연락 이메일 주소(Contact Email) - 이메일 주소를 지정합니다.

   • API 헤딩(OAuth 설정 활성화)(API heading(Enable OAuth Settings)) 아래 확인란을 선택하여 OAuth 설정을 활성화합니다.

   • 콜백 URL에서 Amazon SageMaker Studio Classic URL을 지정합니다. Studio Classic의 URL을 가져오려면에서 URL에 액세스 AWS Management Console 하고 URL을 복사합니다.

6. 선택한 OAuth 범위(Selected OAuth Scopes) 아래에서 다음을 사용 가능한 OAuth 범위(Available OAuth Scopes)에서 선택한 OAuth 범위로 옮깁니다.

   • API로 사용자 데이터 관리(api)

   • 언제든지 요청 수행(refresh_token, offline_access)

   • Salesforce 데이터 클라우드 데이터에 대해 ANSI SQL 쿼리 수행(cdp_query_api)

   • Salesforce 고객 데이터 플랫폼 프로필 데이터 관리(cdp_profile_api)

7. 저장(Save)을 선택합니다. 변경 내용을 저장하면 Salesforce에서 새 페이지가 열립니다.

8. Continue를 선택합니다

9. 소비자 키 및 보안 암호(Consumer Key and Secret)로 이동합니다.

10. 소비자 세부 정보 관리(Manage Consumer Details)를 선택합니다. Salesforce에서 2단계 인증을 통과해야 할 수도 있는 새 페이지로 리디렉션합니다.

11. 중요

    소비자 키와 고객 보안키를 텍스트 편집기에 복사합니다. 데이터 클라우드를 Data Wrangler에 연결하려면 이 정보가 필요합니다.

12. 연결된 앱 관리(Manage Connected Apps)로 돌아옵니다.

13. 연결된 앱 이름과 애플리케이션 이름으로 이동합니다.

14. 관리를 선택합니다.

    1. 정책 편집(Edit Policies)을 선택합니다.

    2. IP 완화(IP Relaxation)를 IP 제한 완화(Relax IP restrictions)로 변경합니다.

    3. 저장(Save)을 선택합니다.

사용자에게 권한을 부여하는 방법은 다음과 같습니다.

1. 설정 홈페이지로 이동합니다.

2. 왼쪽 탐색창에서 사용자(Users)로 검색하고 사용자 메뉴 항목을 선택합니다.

3. 사용자 이름이 포함된 하이퍼링크를 선택합니다.

4. 권한 세트 할당(Permission Set Assignments)으로 이동합니다.

5. 할당 편집(Edit Assignments)을 선택합니다.

6. 다음 권한을 추가합니다.

   • 고객 데이터 플랫폼 관리자(Customer Data Platform Admin)

   • 고객 데이터 플랫폼 데이터 인지 전문가(Customer Data Platform Data Aware Specialist)

7. 저장(Save)을 선택합니다.

인증 URL 및 토큰 URL을 가져오려면

1. Salesforce 도메인 URL로 이동합니다.

2. 다음 중 한 가지 방법으로 URL을 가져옵니다. curl과 jq이(가) 설치된 Linux 배포판에 있는 경우, Linux에서만 작동하는 메서드를 사용할 것을 권장합니다.

   • (Linux 전용) 터미널에서 다음 명령을 지정합니다.

     
     curl salesforce-domain-URL/.well-known/openid-configuration | \
     jq '. | { authorization_url: .authorization_endpoint, token_url: .token_endpoint }' | \
     jq '.  += { identity_provider: "SALESFORCE", client_id: "example-client-id", client_secret: "example-client-secret" }'                             
                                 

   • 1. 브라우저에서 example-org-URL/.well-known/openid-configuration으로 이동합니다.

     2. authorization_endpoint과 token_endpoint을(를) 텍스트 편집기에 복사합니다.

     3. 다음 JSON 객체를 생성합니다.

        {
          "identity_provider": "SALESFORCE",
          "authorization_url": "example-authorization-endpoint", 
          "token_url": "example-token-endpoint",
          "client_id": "example-consumer-key",
          "client_secret": "example-consumer-secret"
        }
                                            

보안 암호를 생성하는 방법은 다음과 같습니다.

1. AWS Secrets Manager 콘솔로 이동합니다.

2. 새 보안 암호 저장(Store a new secret)을 선택합니다.

3. 다른 유형의 보안 암호(Other type of secrets)를 선택합니다.

4. 키/값(Key/value) 쌍 아래에서 일반 텍스트(Plaintext)를 선택합니다.

5. 빈 JSON을 다음 구성 설정으로 바꿉니다.

   {
     "identity_provider": "SALESFORCE",
     "authorization_url": "example-authorization-endpoint", 
     "token_url": "example-token-endpoint",
     "client_id": "example-consumer-key",
     "client_secret": "example-consumer-secret"
   }                    
                       

6. Next(다음)를 선택합니다.

7. 보안 암호 이름(Secret Name)에서 보안 암호 이름을 지정합니다.

8. 태그(Tags) 아래에서 추가(Add)를 선택합니다.

   1. 키(Key)에서 sagemaker:partner를 지정합니다. 값(Value)은 사용 사례에서 유용할 수 있는 값을 지정할 것을 권장합니다. 어떤 값이든 지정 가능합니다.

   중요

   키를 생성해야 합니다. 키를 생성하지 않으면 Salesforce에서 데이터를 가져올 수 없습니다.

9. Next(다음)를 선택합니다.

10. 저장(Store)을 선택합니다.

11. 생성한 보안 암호를 선택합니다.

12. 다음 필드를 기록해 둡니다.

    • 보안 암호의 Amazon 리소스 이름(ARN)

    • 보안 암호 이름

Data Wrangler에 읽기 권한을 추가하는 방법은 다음과 같습니다.

1. Amazon SageMaker AI 콘솔로 이동합니다.

2. 도메인을 선택합니다.

3. Data Wrangler 액세스 시 사용하는 도메인을 선택합니다.

4. 본인의 사용자 프로필(User Profile)을 선택합니다.

5. 세부 정보(Details) 아래에서 실행 역할(Execution role)을 찾습니다. ARN 형식은 arn:aws:iam::111122223333:role/example-role입니다. SageMaker AI 실행 역할을 기록해 둡니다. ARN 내에서는 모든 것이 role/ 뒤에 옵니다.

6. IAM 콘솔로 이동합니다.

7. IAM 검색 창에서 SageMaker AI 실행 역할의 이름을 지정합니다.

8. 역할을 선택합니다.

9. 권한 추가를 선택합니다.

10. 인라인 정책 생성(Create inline policy)을 선택합니다.

11. JSON 탭을 선택합니다.

12. 편집기에서 다음 정책을 지정합니다.

    
    {
     "Version": "2012-10-17",
     "Statement": [
         {
             "Effect": "Allow",
             "Action": [
                 "secretsmanager:GetSecretValue",
                 "secretsmanager:PutSecretValue"
             ],
             "Resource": "arn:aws:secretsmanager:*:*:secret:*",
             "Condition": {
                 "ForAnyValue:StringLike": {
                     "aws:ResourceTag/sagemaker:partner": "*"
                 }
             }
         },
         {
             "Effect": "Allow",
             "Action": [
                 "secretsmanager:UpdateSecret"
             ],
             "Resource": "arn:aws:secretsmanager:*:*:secret:AmazonSageMaker-*"
         }
     ]
    }                        
                        

13. 정책 검토를 선택합니다.

14. 이름(Name)에서 이름을 지정합니다.

15. 정책 생성을 선택합니다.

수명 주기 구성을 만들고 Studio Classic 프로필에 추가하는 방법은 다음과 같습니다.

1. Amazon SageMaker AI 콘솔로 이동합니다.

2. 도메인을 선택합니다.

3. Data Wrangler 액세스 시 사용하는 도메인을 선택합니다.

4. 본인의 사용자 프로필(User Profile)을 선택합니다.

5. 다음과 같은 애플리케이션이 보이면 삭제합니다.

   • KernelGateway

   • JupyterKernel

   참고

   애플리케이션을 삭제하면 Studio Classic이 업데이트됩니다. 업데이트 완료 시까지 시간이 걸릴 수 있습니다.

6. 업데이트 대기중에 수명 주기 구성(Lifecycle configurations)을 선택합니다.

7. 현재 페이지에 Studio Classic 수명 주기 구성이 명시되어 있는지 확인합니다.

8. 구성 생성을 선택합니다.

9. Jupyter 서버 앱(Jupyter server app) 선택 여부를 확인합니다.

10. Next(다음)를 선택합니다.

11. 이름(Name)에서 구성 이름을 지정합니다.

12. 스크립트(Scripts)에서 다음 스크립트를 지정합니다.

    
    #!/bin/bash
    set -eux
    
    cat > ~/.sfgenie_identity_provider_oauth_config <<EOL
    {
        "secret_arn": "secrets-arn-containing-salesforce-credentials"
    }
    EOL
    
    
                    

13. 제출을 선택합니다.

14. 왼쪽 탐색창에서 도메인을 선택합니다.

15. 도메인을 선택합니다.

16. 환경을 선택합니다.

17. 개인용 Studio Classic 앱의 수명 주기 구성에서 연결을 선택합니다.

18. 기존 구성(Existing configuration)을 선택합니다.

19. Studio Classic 수명 주기 구성 아래에서 만든 수명 주기 구성을 선택합니다.

20. 도메인에 연결(Attach to domain)을 선택합니다.

21. 연결한 수명 주기 구성 옆 확인란을 선택합니다.

22. 기본값으로 설정(Set as default)을 선택합니다.

Studio Classic을 열고 버전을 확인하려면 다음 절차를 참조하세요.

1. 사전 조건의 단계를 사용하여 Amazon SageMaker Studio Classic을 통해 Data Wrangler에 액세스할 수 있습니다.

2. Studio Classic 시작 시 사용하고자 하는 사용자 옆에서 앱 시작을 선택합니다.

3. Studio를 선택합니다.

Salesforce 데이터 클라우드의 데이터로 Data Wrangler에서 데이터세트를 생성하려면

1. Amazon SageMaker AI 콘솔에 로그인합니다.

2. Studio를 선택합니다.

3. Launch app(앱 시작)을 선택합니다.

4. 드롭다운 목록에서 Studio를 선택합니다.

5. 홈 아이콘을 선택합니다.

6. Data(데이터)를 선택합니다.

7. Data Wrangler를 선택합니다.

8. 데이터 가져오기(Import data)을 선택합니다.

9. 사용 가능(Available) 아래에서 Salesforce 데이터 클라우드(Salesforce Data Cloud)를 선택합니다.

10. 연결 이름(Connection name)에서 Salesforce 데이터 클라우드 연결 이름을 지정합니다.

11. 조직 URL(Org URL)에서 Salesforce 계정의 조직 URL을 지정합니다. URL은 관리자로부터 받을 수 있습니다.

12. 연결을 선택합니다.

13. Salesforce 로그인 자격 증명을 지정합니다.

1. Data Wrangler를 애플리케이션으로 등록하는 프로세스를 시작하는 구성을 선택합니다.

2. ID 제공업체 사용자에게 Data Wrangler 액세스 권한을 부여합니다.

3. 클라이언트 자격 증명을 AWS Secrets Manager 보안 암호로 저장하여 OAuth 클라이언트 인증을 켭니다.

4. https://domain-ID.studio.AWS 리전.sagemaker.aws/jupyter/default/lab 형식으로 리디렉션 URL을 지정합니다.

   중요

   Amazon SageMaker AI 도메인 ID를 지정하고 Data Wrangler를 실행하는 데를 AWS 리전 사용합니다.

   중요

   각 Amazon SageMaker AI 도메인과 Data Wrangler를 실행하는 AWS 리전 위치에 대한 URL을 등록해야 합니다. 도메인에서 리디렉션 URLs이 설정되어 있지 AWS 리전 않은 사용자는 자격 증명 공급자를 통해 인증하여 Snowflake 연결에 액세스할 수 없습니다.

5. 권한 부여 코드 및 토큰 권한 새로 고침 유형이 Data Wrangler 애플리케이션에서 허용되는지 확인하세요.

서버 설정 방법은 다음과 같습니다. 마지막 단계를 제외한 모든 단계는 Snowflake 내에서 실행됩니다.

1. 서버 또는 API 설정을 시작합니다.

2. 권한 부여 코드 및 토큰 권한 새로 고침 유형을 사용하도록 권한 부여 서버를 구성합니다.

3. 액세스 토큰 전체 기간을 지정합니다.

4. 새로 고침 토큰 유휴 제한 시간을 설정합니다. 유휴 제한 시간은 새로 고침 토큰을 사용하지 않을 경우 만료되는 시간입니다.

   참고

   Data Wrangler에서 작업을 예약하는 경우, 유휴 제한 시간을 처리 작업 빈도보다 길게 설정할 것을 권장합니다. 그렇지 않으면 새로 고침 토큰이 실행되기 전에 만료되어 일부 처리 작업이 실패할 수 있습니다. 새로 고침 토큰이 만료되면 사용자는 Data Wrangler를 통해 Snowflake 연결에 액세스하여 다시 인증해야 합니다.

5. session:role-any을(를) 새 범위로 지정합니다.

   참고

   Azure AD에서 범위의 고유 식별자를 복사합니다. Data Wrangler에 해당 식별자를 입력해야 합니다.

6. 중요

   Snowflake용 외부 OAuth 보안 통합에서 external_oauth_any_role_mode을(를) 활성화합니다.

1. 데이터 사이언티스트가 SageMaker Data Wrangler에서 Snowflake에 액세스하려면 다음 중 하나를 입력해야 합니다.

   • 기본 인증 시 Snowflake 계정 이름, 사용자 이름 및 암호.

   • OAuth 시 ID 제공업체의 사용자 이름 및 암호.

   • ARN 시 Secrets Manager 보안 암호 Amazon 리소스 이름(ARN)

   • AWS Secrets Manager와 보안 암호 ARN으로 생성한 보안 암호. 다음 절차에 따라 옵션 선택 시 Snowflake용 보안 암호를 생성합니다.

     중요

     데이터 사이언티스트가 Snowflake 자격 증명(사용자 이름 및 암호) 옵션으로 Snowflake에 연결하는 경우 Secrets Manager로 자격 증명을 보안 암호에 저장할 수 있습니다. Secrets Manager는 모범 사례 보안 계획의 일부로 보안 암호를 교체합니다. Secrets Manager에서 만든 보안 암호는 Studio Classic 사용자 프로필 설정 시 구성한 Studio Classic 역할이 있어야 액세스할 수 있습니다. 그러려면 Studio Classic 역할에 연결된 정책에 secretsmanager:PutResourcePolicy 권한을 추가해야 합니다.

     Studio Classic 사용자 그룹별로 다른 역할을 적용하도록 역할 정책 범위를 지정할 것을 적극 권장합니다. Secrets Manager 보안 암호에 대한 추가 리소스 기반 권한을 추가할 수 있습니다. 사용할 수 있는 조건 키는 암호 관리 정책에서 확인하세요.

     암호 생성 방법은 보안 암호 생성에서 확인하세요. 보안 암호 생성 시 요금이 부과됩니다.

2. (선택 사항) Snowflake에서 클라우드 스토리지 통합 생성하기 절차에 따라 생성한 스토리지 통합 이름을 데이터 사이언티스트에게 제공합니다. 이는 새 통합의 이름으로서 integration_name(으)로 명명되며, 다음 코드 조각에 표시된 실행한 CREATE INTEGRATION SQL 명령에 있습니다.

   
     CREATE STORAGE INTEGRATION integration_name
     TYPE = EXTERNAL_STAGE
     STORAGE_PROVIDER = S3
     ENABLED = TRUE
     STORAGE_AWS_ROLE_ARN = 'iam_role'
     [ STORAGE_AWS_OBJECT_ACL = 'bucket-owner-full-control' ]
     STORAGE_ALLOWED_LOCATIONS = ('s3://bucket/path/', 's3://bucket/path/')
     [ STORAGE_BLOCKED_LOCATIONS = ('s3://bucket/path/', 's3://bucket/path/') ]
                                

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "glue:SearchTables",
            "Resource": [
                "arn:aws:glue:*:*:table/*/*",
                "arn:aws:glue:*:*:database/*",
                "arn:aws:glue:*:*:catalog"
            ]
        }
    ]
}   

데이터 소스 연결 방법은 다음과 같습니다.

1. Amazon SageMaker AI 콘솔에 로그인합니다.

2. Studio를 선택합니다.

3. Launch app(앱 시작)을 선택합니다.

4. 드롭다운 목록에서 Studio를 선택합니다.

5. 홈 아이콘을 선택합니다.

6. Data(데이터)를 선택합니다.

7. Data Wrangler를 선택합니다.

8. 데이터 가져오기(Import data)을 선택합니다.

9. 사용 가능(Available) 아래에서 데이터 소스를 선택합니다.

10. 이름(Name) 필드에서 연결 이름을 지정합니다.

11. (선택 사항) 고급 구성(Advanced configuration)을 선택합니다.

    1. 작업 그룹(Workgroup)을 선택합니다.

    2. 작업 그룹이 Amazon S3 출력 위치를 적용하지 않았거나 작업 그룹을 사용하지 않는 경우, 쿼리 결과의 Amazon S3 위치(Amazon S3 location of query results) 값을 지정합니다.

    3. (선택 사항) 데이터 보존 기간(Data retention period)에서 확인란을 선택하여 데이터 보존 기간을 설정하고 삭제 전까지 저장할 일수를 지정합니다.

    4. (선택 사항) 기본적으로 Data Wrangler는 연결을 저장합니다. 확인란 선택을 해제하여 연결을 저장하지 않을 수 있습니다.

12. 연결을 선택합니다.

13. 쿼리를 지정합니다.

    참고

    쿼리 지정을 위해 왼쪽 탐색창에서 테이블을 선택할 수 있습니다. Data Wrangler에는 테이블 이름과 테이블 미리보기가 표시됩니다. 테이블 이름 옆 아이콘을 선택하여 이름을 복사합니다. 쿼리에 테이블 이름을 사용할 수 있습니다.

14. Run(실행)을 선택합니다.

15. 쿼리 가져오기(Import query)를 선택합니다.

16. 데이터세트 이름(Dataset name)에서 데이터세트 이름을 지정합니다.

17. 추가를 선택합니다.