EMR Studio에서 magic 명령으로 커널 개선

개요

EMR Studio와 EMR Notebooks은 magic 명령을 지원합니다. Magic 명령 또는 magic은 IPython 커널이 데이터를 실행하고 분석하는 데 도움이 되도록 제공하는 향상된 기능입니다. IPython은 Python으로 구축된 대화형 쉘 환경입니다.

또한 Amazon EMR은 Spark 관련 커널(PySpark, SparkR 및 Scala 커널)에 특정 magic 명령을 제공하고, 클러스터에서 Livy를 사용하여 Spark 작업을 제출하는 패키지 Sparkmagic을 지원합니다.

EMR 노트북에 Python 커널이 있으면 magic 명령을 사용할 수 있습니다. 마찬가지로 모든 Spark 관련 커널은 Sparkmagic 명령을 지원합니다.

magic이라고도 하는 Magic 명령에는 두 가지 종류가 있습니다.

사용 가능한 모든 magic에 대한 자세한 내용은 magic 및 Sparkmagic 명령 나열 섹션을 참조하세요.

고려 사항 및 제한

magic 및 Sparkmagic 명령 나열

사용 가능한 magic 명령 목록을 보려면 다음 명령을 사용합니다.

%%configure를 사용하여 Spark 구성

가장 유용한 Sparkmagic 명령 중 하나는 세션 생성 파라미터를 구성하는 %%configure 명령입니다. conf 설정을 사용하여 Apache Spark 구성 설명서에 언급된 모든 Spark 구성을 구성할 수 있습니다.

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

%%sh를 사용하여 spark-submit 실행

%%sh magic는 연결된 클러스터 인스턴스의 하위 프로세스에서 쉘 명령을 실행합니다. 일반적으로 Spark 관련 커널 중 하나를 사용하여 연결된 클러스터에서 Spark 애플리케이션을 실행합니다. 하지만 Python 커널을 사용하여 Spark 애플리케이션을 제출하려는 경우 다음 magic을 사용할 수 있습니다. 이때 버킷 이름을 소문자로 바꾼 버킷 이름으로 바꿉니다.

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

이 예제에서는 클러스터가 s3://amzn-s3-demo-bucket/test.py의 위치에 액세스할 수 있어야 합니다. 그렇지 않으면 명령이 실패합니다.

%%sh magic과 함께 Linux 명령을 사용할 수 있습니다. Spark 또는 YARN 명령을 실행하려면 다음 옵션 중 하나를 사용하여 emr-notebook Hadoop 사용자를 생성하고 사용자에게 명령을 실행할 권한을 부여합니다.

%%display를 사용하여 Spark DataFrame 시각화

%%display magic을 사용하여 Spark DataFrame을 시각화할 수 있습니다. 이 magic을 사용하려면 다음 명령을 실행합니다.

%%display df

다음 이미지와 같이 결과를 테이블 형식으로 보도록 선택합니다.

다섯 가지 유형의 차트로 데이터를 시각화하도록 선택할 수도 있습니다. 옵션으로, 파이, 산점도, 선형, 영역 및 막대 차트가 있습니다.

EMR Notebooks magic 사용

Amazon EMR은 Python3 및 Spark 기반 커널과 함께 사용할 수 있는 다음과 같은 EMR Notebooks magic을 제공합니다.

사전 조건

EMR Notebooks magic을 설치하려면 먼저 다음 작업을 완료해야 합니다.

EMR Notebooks magic 설치

EMR Notebooks magic을 설치하려면 다음 단계를 완료합니다.

%mount_workspace_dir을 사용하여 Workspace 디렉토리 마운트

%mount_workspace_dir magic을 사용하면 Workspace 디렉터리를 EMR 클러스터에 마운트하여 디렉터리에 저장된 다른 파일, 모듈 또는 패키지를 가져오고 실행할 수 있습니다.

다음 예제에서는 전체 Workspace 디렉터리를 클러스터에 마운트하고, 디렉터리 마운트 시 goofys를 사용하도록 선택적 <--fuse-type> 인수를 지정합니다.

%mount_workspace_dir . <--fuse-type goofys>

Workspace 디렉터리가 마운트되었는지 확인하려면 다음 예제를 사용하여 ls 명령으로 현재 작업 디렉터리를 표시합니다. 출력에는 Workspace에 있는 모든 파일이 표시됩니다.

%%sh
ls

Workspace에서 변경을 완료하면 다음 명령을 사용하여 Workspace 디렉터리를 마운트 해제할 수 있습니다.

%umount_workspace_dir

%generate_s3_download_url을 사용하여 Amazon S3 객체 다운로드

generate_s3_download_url 명령은 Amazon S3에 저장된 객체에 대한 사전 서명된 URL을 생성합니다. 사전 서명된 URL을 사용하여 객체를 로컬 시스템에 다운로드할 수 있습니다. 예를 들어 generate_s3_download_url을 실행하여 코드가 Amazon S3에 작성한 SQL 쿼리의 결과를 다운로드할 수 있습니다.

사전 서명된 URL은 기본적으로 60분 동안 유효합니다. --expires-in 플래그에 시간(초)을 지정하여 만료 시간을 변경할 수 있습니다. 예를 들어, --expires-in 1800은 30분 동안 유효한 URL을 생성합니다.

다음 예제는 전체 Amazon S3 경로(s3://EXAMPLE-DOC-BUCKET/path/to/my/object)를 지정하여 객체에 대한 다운로드 링크를 생성합니다.

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

generate_s3_download_url 사용에 대해 자세히 알아보려면 다음 명령을 실행하여 도움말 텍스트를 표시합니다.

%generate_s3_download_url?

%execute_notebook을 사용하여 헤드리스 모드에서 노트북 실행

%execute_notebook magic을 사용하면 헤드리스 모드에서 다른 노트북을 실행하고 실행한 각 셀의 출력을 볼 수 있습니다. 이 magic을 사용하려면 Amazon EMR과 Amazon EC2가 공유하는 인스턴스 역할에 대한 추가 권한이 필요합니다. 추가 권한을 부여하는 방법에 대한 자세한 내용을 보려면 %execute_notebook? 명령을 실행합니다.

장기 실행 작업에서는 미활동으로 인해 시스템이 절전 모드로 전환되거나 인터넷 연결이 일시적으로 끊길 수 있습니다. 이로 인해 브라우저와 Jupyter Server 간 연결이 끊어질 수 있습니다. 이 경우 Jupyter 서버에서 실행하고 전송한 셀의 출력이 손실될 수 있습니다.

%execute_notebook magic을 사용하여 헤드리스 모드에서 노트북을 실행하면 로컬 네트워크에 장애가 발생하더라도 EMR Notebooks는 실행된 셀의 출력을 캡처합니다. EMR Notebooks는 실행한 노트북과 이름이 같은 새 노트북에 출력을 증분식으로 저장합니다. 그러면 EMR Notebooks는 노트북을 Workspace 내 새 폴더에 배치합니다. 헤드리스 실행은 동일한 클러스터에서 수행되고 서비스 역할 EMR_Notebook_DefaultRole을 사용하지만 추가 인수를 통해 기본값을 변경할 수 있습니다.

헤드리스 모드에서 노트북을 실행하려면 다음 명령을 사용합니다.

%execute_notebook <relative-file-path>

헤드리스 실행에 대한 클러스터 ID 및 서비스 역할을 지정하려면 다음 명령을 사용합니다.

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Amazon EMR과 Amazon EC2가 인스턴스 역할을 공유하는 경우 역할에 다음과 같은 추가 권한이 필요합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}