EMR Studio で magic コマンドを使用してカーネルを強化する

概要

EMR Studio および EMR Notebooks は magic コマンドをサポートしています。Magic コマンド (magic) はデータの実行と分析に役立つように IPython カーネルによって提供されている拡張機能です。IPython は Python で構築されたインタラクティブなシェル環境です。

Amazon EMR は Sparkmagic もサポートしています。Sparkmagic は、Spark 関連のカーネル (PySpark、SparkR、Scala カーネル) に特定の magic コマンドを提供し、クラスターで Livy を使用して Spark ジョブを送信するパッケージです。

EMR Notebooks に Python カーネルがある限り、magic コマンドを使用できます。同様に、Spark 関連のカーネルは Sparkmagic コマンドをサポートしています。

Magic コマンド (magic とも呼ばれる) には、次の 2 種類があります。

すべての利用可能な magic については「magic コマンドと Sparkmagic コマンドをリストする」を参照してください。

考慮事項と制限事項

magic コマンドと Sparkmagic コマンドをリストする

使用可能な magic コマンドを一覧表示するには、次のコマンドを使用します。

%%configure を使用して Spark を設定する

Sparkmagic コマンドの中でも特に便利なコマンドの 1 つは、%%configure コマンドです。このコマンドは、セッション作成パラメータを設定します。conf 設定を使用すると、Apache Spark の設定ドキュメントで説明されている任意の Spark 設定を構成できます。

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

%%sh を使用して spark-submit を実行する

%%sh magic は、アタッチされたクラスターのインスタンスのサブプロセスでシェルコマンドを実行します。通常、Spark 関連のカーネルのいずれかを使用して、アタッチされたクラスターで Spark アプリケーションを実行します。ただし、Python カーネルを使用して Spark アプリケーションを送信する場合は、バケット名を小文字のバケット名に置き換えて、次の magic を使用できます。

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

この例では、クラスターは、s3://amzn-s3-demo-bucket/test.py の場所にアクセスできる必要があります。アクセスできないと、コマンドは失敗します。

%%sh magic を使用して任意の Linux コマンドを使用できます。Spark コマンドまたは YARN コマンドを実行する場合は、次のいずれかのオプションを使用して、emr-notebook Hadoop ユーザーを作成し、コマンドを実行するアクセス許可をユーザーに付与します。

%%display を使用して Spark データフレームを視覚化する

%%display magic を使用して Spark データフレームを視覚化できます。この magic を使用するには、次のコマンドを実行します。

%%display df

以下の図のように、結果を表形式で表示することを選択します。

5 種類のグラフでデータを視覚化することもできます。オプションには、円グラフ、散布図、折れ線グラフ、面グラフ、棒グラフがあります。

EMR Notebooks magic を使用する

Amazon EMR は、Python3 および Spark ベースのカーネルで使用できる次の EMR Notebooks magic を提供しています。

前提条件

EMR Notebooks magic をインストールする前に、次のタスクを完了します。

EMR Notebooks magic をインストールする

EMR Notebooks magic をインストールするには、次の手順を実行します。

%mount_workspace_dir を使用してWorkspace ディレクトリをマウントする

%mount_workspace_dir magic を使用すると、Workspace ディレクトリを EMR クラスターにマウントして、ディレクトリに保存されている他のファイル、モジュール、またはパッケージをインポートして実行できます。

次の例では、Workspace ディレクトリ全体をクラスターにマウントし、オプションの <--fuse-type> 引数を指定してディレクトリのマウントに goofys を使用しています。

%mount_workspace_dir . <--fuse-type goofys>

Workspace ディレクトリがマウントされていることを確認するには、次の例のように、ls コマンドを使用して現在の作業ディレクトリを表示します。出力には、Workspace 内のすべてのファイルが表示されます。

%%sh
ls

Workspace での変更が完了したら、次のコマンドを使用して Workspace ディレクトリをアンマウントします。

%umount_workspace_dir

%generate_s3_download_url を使用して Amazon S3 オブジェクトをダウンロードする

generate_s3_download_url コマンドは、Amazon S3 に保存されたオブジェクトの署名済み URL を作成します。署名済み URL を使用して、オブジェクトをローカルマシンにダウンロードできます。例えば、generate_s3_download_url を実行して、コードが Amazon S3 に書き込む SQL クエリの結果をダウンロードできます。

署名済み URL は、デフォルトで 60 分間有効です。有効期限は、--expires-in フラグに秒数を指定することで変更できます。例えば、--expires-in 1800 は、30 分間有効な URL を作成します。

次の例では、完全な Amazon S3 パス s3://EXAMPLE-DOC-BUCKET/path/to/my/object を指定して、オブジェクトのダウンロードリンクを生成しています。

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

generate_s3_download_url の使用の詳細については、次のコマンドを実行してヘルプテキストを表示してください。

%generate_s3_download_url?

%execute_notebook を使用してノートブックをヘッドレスモードで実行する

%execute_notebook magic を使用すると、別のノートブックをヘッドレスモードで実行して、実行した各セルの出力を表示できます。この magic を使用するには、Amazon EMR と Amazon EC2 が共有するインスタンスロールに対する追加のアクセス許可が必要です。追加のアクセス許可を付与する方法の詳細については、%execute_notebook? コマンドを実行してください。

長時間かかるジョブの実行中、操作がないためにシステムがスリープ状態になったり、インターネット接続が一時的に切断されたりすることがあります。その結果、ブラウザと Jupyter Server 間の接続が中断される可能性があります。この場合、Jupyter Server から実行して送信したセルの出力が失われる可能性があります。

%execute_notebook magic を使用してノートブックをヘッドレスモードで実行すると、ローカルネットワークが中断した場合でも、EMR Notebooks は実行したセルからの出力をキャプチャします。EMR Notebooks は、実行したノートブックと同じ名前の新しいノートブックに出力を増分保存します。その後、EMR Notebooks はノートブックを Workspace 内の新しいフォルダに配置します。ヘッドレス実行は同じクラスターで行われ、EMR_Notebook_DefaultRole サービスロールを使用しますが、引数を追加することでデフォルト値を変更できます。

ノートブックをヘッドレスモードで実行するには、以下のコマンドを使用します。

%execute_notebook <relative-file-path>

ヘッドレス実行のクラスター ID とサービスロールを指定するには、以下のコマンドを使用します。

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

Amazon EMR と Amazon EC2 がインスタンスロールを共有する場合、ロールには以下の追加のアクセス許可が必要です。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}