이 섹션에서는 로컬에서 AWS Glue 대화형 세션을 실행하는 방법을 설명합니다.
대화형 세션을 로컬에서 설정하기 위한 사전 조건
다음은 대화형 세션을 설치하기 위한 사전 조건입니다.
-
지원되는 Python 버전은 3.6부터 3.10 이상입니다.
-
MacOS/리눅스 및 Windows 지침은 아래 섹션을 참조하세요.
Jupyter 및 AWS Glue 대화형 세션 Jupyter 커널 설치
다음을 사용하여 커널을 로컬에 설치합니다.
install-glue-kernels 명령은 pyspark 커널과 spark 커널 모두에 대한 jupyter kernelspec을 설치하고 올바른 디렉터리에 로고도 설치합니다.
pip3 install --upgrade jupyter boto3 aws-glue-sessionsinstall-glue-kernels Jupyter 실행
Jupyter Notebook을 실행하려면 다음 단계를 완료합니다.
-
다음 명령을 실행하여 Jupyter Notebook을 시작합니다.
jupyter notebook -
새로 생성(New)을 선택한 다음 AWS Glue 커널 중 하나를 선택하여 AWS Glue에 대한 코딩을 시작합니다.
세션 자격 증명 및 리전 구성
MacOS/Linux 지침
AWS Glue 대화형 세션에는 AWS Glue 작업 및 개발 엔드포인트와 동일한 IAM 권한이 필요합니다. 다음 두 가지 방법 중 하나로 대화형 세션에 사용되는 역할을 지정합니다.
-
%iam_role및%region매직 사용 -
~/.aws/config에 추가 줄 사용
매직을 사용하여 세션 역할 구성
첫 번째 셀에서, 실행된 첫 번째 셀에 %iam_role <YourGlueServiceRole>을 입력합니다.
~/.aws/config를 사용하여 세션 역할 구성
대화형 세션의 AWS Glue 서비스 역할은 노트북 자체에 지정되거나 AWS CLI 구성과 함께 저장될 수 있습니다. 일반적으로 AWS Glue 작업에서 사용하는 역할이 있다면 바로 그 역할일 것입니다. AWS Glue 작업에 사용하는 역할이 없는 경우 이 안내서의 AWS Glue에 대한 IAM 권한 구성에 따라 구성합니다.
이 역할을 대화형 세션의 기본 역할로 설정하려면 다음을 수행하세요.
-
텍스트 편집기로
~/.aws/config를 엽니다. -
AWS Glue에서 사용하는 프로파일을 찾습니다. 프로파일을 사용하지 않는 경우
[Default]프로파일을 사용합니다. -
프로파일에서, 사용하려는 역할에
glue_role_arn=<AWSGlueServiceRole>과 같은 줄을 추가합니다. -
[선택 사항]: 프로파일에 기본 리전 세트가 없는 경우,
region=us-east-1을 추가하고 원하는 리전으로us-east-1을 대체하는 것이 좋습니다. -
구성을 저장합니다.
자세한 내용은 IAM을 이용한 대화형 세션 단원을 참조하십시오.
Windows 지침
AWS Glue 대화형 세션에는 AWS Glue 작업 및 개발 엔드포인트와 동일한 IAM 권한이 필요합니다. 다음 두 가지 방법 중 하나로 대화형 세션에 사용되는 역할을 지정합니다.
-
%iam_role및%region매직 사용 -
~/.aws/config에 추가 줄 사용
매직을 사용하여 세션 역할 구성
첫 번째 셀에서, 실행된 첫 번째 셀에 %iam_role <YourGlueServiceRole>을 입력합니다.
~/.aws/config를 사용하여 세션 구성
대화형 세션의 AWS Glue 서비스 역할은 노트북 자체에 지정되거나 AWS CLI 구성과 함께 저장될 수 있습니다. 일반적으로 AWS Glue 작업에서 사용하는 역할이 있다면 바로 그 역할일 것입니다. AWS Glue 작업에 사용하는 역할이 없는 경우, AWS Glue에 대한 IAM 권한 설정 가이드를 따라 역할을 설정하세요.
이 역할을 대화형 세션의 기본 역할로 설정하려면 다음을 수행하세요.
-
텍스트 편집기로
~/.aws/config를 엽니다. -
AWS Glue에서 사용하는 프로파일을 찾습니다. 프로파일을 사용하지 않는 경우
[Default]프로파일을 사용합니다. -
프로파일에서, 사용하려는 역할에
glue_role_arn=<AWSGlueServiceRole>과 같은 줄을 추가합니다. -
[선택 사항]: 프로파일에 기본 리전 세트가 없는 경우,
region=us-east-1을 추가하고 원하는 리전으로us-east-1을 대체하는 것이 좋습니다. -
구성을 저장합니다.
자세한 내용은 IAM을 이용한 대화형 세션 단원을 참조하십시오.
대화형 세션 평가판 업그레이드
커널은 버전 0.27과 함께 릴리스되었을 때 새 이름으로 업그레이드되었습니다. 커널의 평가판 버전을 정리하려면 터미널 또는 PowerShell에서 다음을 실행합니다.
참고
사용자 지정 서비스 모델이 필요한 다른 AWS Glue 평가판의 일부인 경우 커널을 제거하면 사용자 지정 서비스 모델이 제거됩니다.
# Remove Old Glue Kernels
jupyter kernelspec remove glue_python_kernel
jupyter kernelspec remove glue_scala_kernel
# Remove Custom Model
cd ~/.aws/models
rm -rf glue/
