AWS Glue 대화형 세션 시작하기 - AWS Glue
대화형 세션을 로컬에서 설정하기 위한 사전 조건Jupyter 및 AWS Glue 대화형 세션 Jupyter 커널 설치 Jupyter 실행 세션 자격 증명 및 리전 구성 대화형 세션 평가판 업그레이드

AWS Glue 대화형 세션 시작하기

이 섹션에서는 로컬에서 AWS Glue 대화형 세션을 실행하는 방법을 설명합니다.

대화형 세션을 로컬에서 설정하기 위한 사전 조건

다음은 대화형 세션을 설치하기 위한 사전 조건입니다.

  • 지원되는 Python 버전은 3.6부터 3.10 이상입니다.

  • MacOS/리눅스 및 Windows 지침은 아래 섹션을 참조하세요.

Jupyter 및 AWS Glue 대화형 세션 Jupyter 커널 설치

다음을 사용하여 커널을 로컬에 설치합니다.

install-glue-kernels 명령은 pyspark 커널과 spark 커널 모두에 대한 jupyter kernelspec을 설치하고 올바른 디렉터리에 로고도 설치합니다.

pip3 install --upgrade jupyter boto3 aws-glue-sessions
install-glue-kernels

Jupyter 실행

Jupyter Notebook을 실행하려면 다음 단계를 완료합니다.

  1. 다음 명령을 실행하여 Jupyter Notebook을 시작합니다.

    jupyter notebook

  2. 새로 생성(New)을 선택한 다음 AWS Glue 커널 중 하나를 선택하여 AWS Glue에 대한 코딩을 시작합니다.

세션 자격 증명 및 리전 구성

MacOS/Linux 지침

AWS Glue 대화형 세션에는 AWS Glue 작업 및 개발 엔드포인트와 동일한 IAM 권한이 필요합니다. 다음 두 가지 방법 중 하나로 대화형 세션에 사용되는 역할을 지정합니다.

  1. %iam_role 및 %region 매직 사용

  2. ~/.aws/config에 추가 줄 사용

매직을 사용하여 세션 역할 구성

첫 번째 셀에서, 실행된 첫 번째 셀에 %iam_role <YourGlueServiceRole>을 입력합니다.

~/.aws/config를 사용하여 세션 역할 구성

대화형 세션의 AWS Glue 서비스 역할은 노트북 자체에 지정되거나 AWS CLI 구성과 함께 저장될 수 있습니다. 일반적으로 AWS Glue 작업에서 사용하는 역할이 있다면 바로 그 역할일 것입니다. AWS Glue 작업에 사용하는 역할이 없는 경우 이 안내서의 AWS Glue에 대한 IAM 권한 구성에 따라 구성합니다.

이 역할을 대화형 세션의 기본 역할로 설정하려면 다음을 수행하세요.

  1. 텍스트 편집기로 ~/.aws/config를 엽니다.

  2. AWS Glue에서 사용하는 프로파일을 찾습니다. 프로파일을 사용하지 않는 경우 [Default] 프로파일을 사용합니다.

  3. 프로파일에서, 사용하려는 역할에 glue_role_arn=<AWSGlueServiceRole>과 같은 줄을 추가합니다.

  4. [선택 사항]: 프로파일에 기본 리전 세트가 없는 경우, region=us-east-1을 추가하고 원하는 리전으로 us-east-1을 대체하는 것이 좋습니다.

  5. 구성을 저장합니다.

자세한 내용은 IAM을 이용한 대화형 세션 단원을 참조하십시오.

Windows 지침

AWS Glue 대화형 세션에는 AWS Glue 작업 및 개발 엔드포인트와 동일한 IAM 권한이 필요합니다. 다음 두 가지 방법 중 하나로 대화형 세션에 사용되는 역할을 지정합니다.

  1. %iam_role 및 %region 매직 사용

  2. ~/.aws/config에 추가 줄 사용

매직을 사용하여 세션 역할 구성

첫 번째 셀에서, 실행된 첫 번째 셀에 %iam_role <YourGlueServiceRole>을 입력합니다.

~/.aws/config를 사용하여 세션 구성

대화형 세션의 AWS Glue 서비스 역할은 노트북 자체에 지정되거나 AWS CLI 구성과 함께 저장될 수 있습니다. 일반적으로 AWS Glue 작업에서 사용하는 역할이 있다면 바로 그 역할일 것입니다. AWS Glue 작업에 사용하는 역할이 없는 경우, AWS Glue에 대한 IAM 권한 설정 가이드를 따라 역할을 설정하세요.

이 역할을 대화형 세션의 기본 역할로 설정하려면 다음을 수행하세요.

  1. 텍스트 편집기로 ~/.aws/config를 엽니다.

  2. AWS Glue에서 사용하는 프로파일을 찾습니다. 프로파일을 사용하지 않는 경우 [Default] 프로파일을 사용합니다.

  3. 프로파일에서, 사용하려는 역할에 glue_role_arn=<AWSGlueServiceRole>과 같은 줄을 추가합니다.

  4. [선택 사항]: 프로파일에 기본 리전 세트가 없는 경우, region=us-east-1을 추가하고 원하는 리전으로 us-east-1을 대체하는 것이 좋습니다.

  5. 구성을 저장합니다.

자세한 내용은 IAM을 이용한 대화형 세션 단원을 참조하십시오.

대화형 세션 평가판 업그레이드

커널은 버전 0.27과 함께 릴리스되었을 때 새 이름으로 업그레이드되었습니다. 커널의 평가판 버전을 정리하려면 터미널 또는 PowerShell에서 다음을 실행합니다.

참고

사용자 지정 서비스 모델이 필요한 다른 AWS Glue 평가판의 일부인 경우 커널을 제거하면 사용자 지정 서비스 모델이 제거됩니다.

# Remove Old Glue Kernels
jupyter kernelspec remove glue_python_kernel
jupyter kernelspec remove glue_scala_kernel

# Remove Custom Model
cd ~/.aws/models
rm -rf glue/