使用 EMR Studio 中的magic命令增強核心

概觀

EMR Studio 和 EMR Notebooks 支援 magic 命令。Magic 命令或 magics是 IPython 核心提供的增強功能，可協助您執行和分析資料。IPython 是使用 Python 建置的交互式 Shell 環境。

Amazon EMR 也支援 Sparkmagic，這是一個套件，它使用特定 magic 命令提供 Spark 相關核心 (PySpark、SparkR 和 Scala 核心)，並在叢集上使用 Livy 來提交 Spark 作業。

只要您的 EMR 筆記本中有 Python 核心，就可以使用 magic 命令。同樣，任何與 Spark 相關的核心都支援 Sparkmagic 命令。

Magic 命令 (也稱為 magics) 有兩種類型：

如需所有可用的 magics，請參閱 列出 magic 和 Sparkmagic 命令。

考量與限制

列出 magic 和 Sparkmagic 命令

使用以下命令，列出可用的 magic 命令：

使用 %%configure 設定 Spark

其中一個最有用的 Sparkmagic 命令是 %%configure 命令，它會設定工作階段建立參數。使用 conf 設定，可設定 Apache Spark 組態文件中提到的任何 Spark 組態。

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

使用 %%sh 執行 spark-submit

%%sh magic 會在已附接的叢集的執行個體上執行子程序中的 Shell 命令。通常，您會使用其中一個與 Spark 相關的核心，在附接的叢集上執行 Spark 應用程式。但是，如果要使用 Python 核心提交 Spark 應用程式，則可以使用以下 magic，將儲存貯體名稱取代為小寫的儲存貯體名稱。

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

在此範例中，叢集需要存取 s3://amzn-s3-demo-bucket/test.py 的位置，否則命令將失敗。

可以搭配使用任何 Linux 命令與 %%sh magic。如果想要執行任何 Spark 或 YARN 命令，請使用下列其中一個選項來建立 emr-notebook Hadoop 使用者，並為使用者授予許可以執行命令：

使用 %%display 來可視化 Spark 資料框架

可以使用 %%display magic 來可視化 Spark 資料框架。若要使用此 magic，請執行以下命令。

%%display df

選擇檢視資料表格式的結果，如下圖顯示。

也可以選擇使用五種類型的圖表將資料可視化。您的選項包括圓餅圖、散佈圖、折線圖、區域圖和長條圖。

使用 EMR Notebooks magics

Amazon EMR 提供下列 EMR Notebooks magics，可與 Python3 和 Spark 型核心搭配使用：

先決條件

安裝 EMR Notebooks magics 之前，請先完成以下任務：

安裝 EMR Notebooks magics

完成以下步驟來安裝 EMR Notebooks magics。

使用 %mount_workspace_dir 掛載工作區目錄

%mount_workspace_dir magic 可讓您將工作區目錄掛載到 EMR 叢集，以便匯入和執行目錄中儲存的其他檔案、模組或套件。

下列範例會將整個工作區目錄掛載到叢集上，並指定選用 <--fuse-type> 引數以使用 goofys 掛載目錄。

%mount_workspace_dir . <--fuse-type goofys>

若要確認工作區目錄已裝載，請使用下列範例透過 ls 命令顯示目前的工作目錄。輸出應該會顯示工作區中的所有檔案。

%%sh
ls

當您在工作區中完成變更後，可以使用下列命令卸載工作區目錄：

%umount_workspace_dir

使用 %generate_s3_download_url 下載 Amazon S3 物件

generate_s3_download_url 命令會為 Amazon S3 中儲存的物件建立預先簽章的 URL。可以使用預先簽章的 URL 將物件下載到本機。例如，可以執行 generate_s3_download_url 來下載程式碼寫入到 Amazon S3 的 SQL 查詢結果。

預先簽章的 URL 預設有效期為 60 分鐘。可以指定 --expires-in 標記的秒數來變更到期時間。例如，--expires-in 1800 會建立一個有效期為 30 分鐘的 URL。

下列範例透過指定完整的 Amazon S3 路徑來產生物件的下載連結：s3://EXAMPLE-DOC-BUCKET/path/to/my/object。

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

若要進一步了解如何使用 generate_s3_download_url，請執行下列命令以顯示說明文字。

%generate_s3_download_url?

使用 %execute_notebook，在無頭模式下執行筆記本

使用 %execute_notebook magic，可以在無頭模式下執行另一個筆記本，並檢視您執行的每個儲存格的輸出。此 magic 需要 Amazon EMR 和 Amazon EC2 共用的執行個體角色的額外許可。如需有關如何授予其他許可的詳細資訊，請執行命令 %execute_notebook?。

在長時間執行的作業中，系統可能會因為閒置而進入休眠狀態，或可能暫時失去網際網路連線。這可能會中斷瀏覽器與 Jupyter 伺服器之間的連線。在這種情況下，您可能會丟失從 Jupyter 伺服器執行和傳送的儲存格的輸出。

如果使用 %execute_notebook magic 以無頭模式執行筆記本，EMR Notebooks 會從已執行的儲存格中擷取輸出，即使本機網路發生中斷。EMR Notebooks 會以遞增方式將輸出儲存在新筆記本中，其名稱與您執行的筆記本相同。EMR Notebooks 接著會將筆記本放入工作區內的新資料夾中。無頭執行發生在相同叢集上，並使用服務角色 EMR_Notebook_DefaultRole，但其他引數可以改變預設值。

若要以無頭模式執行筆記本，請使用下列命令：

%execute_notebook <relative-file-path>

若要為無頭執行指定叢集 ID 和服務角色，請使用下列命令：

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

當 Amazon EMR 和 Amazon EC2 共用執行個體角色時，角色需要以下額外許可：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}