使用以下方法增强内核 magic EMR Studio 中的命令

概览

EMR Studio 和 EMR Notebooks 支持 magic 命令。Magic 命令，或 magics，是 IPython 内核为帮助您运行和分析数据而提供的增强功能。 IPython是一个使用 Python 构建的交互式外壳环境。

亚马逊 EMR 还支持 Sparkmagic，一个包为与 Spark 相关的内核（、PySpark SparkR 和 Scala 内核）提供特定的 magic 命令并使用集群上的 Livy 提交 Spark 作业。

您可以使用 … magic 只要你的 EMR 笔记本中有 Python 内核，就可以使用命令。同样，任何与 Spark 相关的内核都支持 Sparkmagic 命令。

Magic 命令，也称为 magics，有两个品种：

全部可用 magics，请参阅列表 magic 以及 Sparkmagic 命令。

注意事项和限制

列表 magic 以及 Sparkmagic 命令

使用以下命令列出可用的 magic 命令：

使用 %%configure 来配置 Spark

最有用的之一 Sparkmagic %%configurecommands 是用于配置会话创建参数的命令。借助 conf 设置，您可以配置 Apache Spark 配置文档 中提及的任何 Spark 配置。

%%configure -f
{"conf": {
    "spark.jars.packages": "com.jsuereth:scala-arm_2.11:2.0,ml.combust.bundle:bundle-ml_2.11:0.13.0,com.databricks:dbutils-api_2.11:0.0.3",
    "spark.jars": "s3://amzn-s3-demo-bucket/my-jar.jar"
    }
}        

%%configure
{ "conf": {
     "spark.jars": "hdfs://apps/hudi/lib/hudi-spark-bundle.jar,hdfs:///apps/hudi/lib/spark-spark-avro.jar", 
     "spark.serializer": "org.apache.spark.serializer.KryoSerializer",
     "spark.sql.hive.convertMetastoreParquet":"false"
     }
}

使用 %%sh 运行 spark-submit

这些区域有：%%shmagic 在所连接集群的实例上的子进程中运行 shell 命令。通常，您需要使用其中一个 Spark 相关的内核在附加的集群上运行 Spark 应用程序。但是，如果你想使用 Python 内核提交 Spark 应用程序，你可以使用以下方法 magic，将存储桶名称替换为小写的存储桶名称。

%%sh
spark-submit --master yarn --deploy-mode cluster s3://amzn-s3-demo-bucket/test.py

在此示例中，集群需要访问 s3://amzn-s3-demo-bucket/test.py 的位置，否则该命令将失败。

你可以将任何 Linux 命令与 %%sh magic。 如果要运行任何 Spark 或 YARN 命令，请使用以下选项之一创建 emr-notebook Hadoop 用户并授予该用户运行命令的权限：

使用 %%display 可视化显示 Spark 数据框

你可以使用 %%display magic 来可视化 Spark 数据框。要使用这个 magic，运行以下命令。

%%display df

选择以表格格式查看结果，如下图所示。

您也可以选择使用五种类型的图表来可视化数据。您的选项包括饼图、散点图、折线图、面积图和条形图。

使用 EMR 笔记本电脑 magics

亚马逊 EMR 提供以下 EMR 笔记本电脑 magic所以你可以与基于 Python3 和基于 Spark 的内核一起使用：

先决条件

在安装 EMR Notebooks 之前 magics，完成以下任务：

安装 EMR 笔记本电脑 magics

完成以下步骤安装 EMR Notebooks magic。

使用 %mount_workspace_dir 挂载 Workspace 目录

这些区域有：%mount_workspace_dirmagic 允许您将 Workspace 目录挂载到 EMR 集群上，以便您可以导入和运行存储在目录中的其他文件、模块或包。

下面的示例将整个 Workspace 目录挂载到集群上，并指定可选的 <--fuse-type> 参数，以使用 goofys 挂载目录。

%mount_workspace_dir . <--fuse-type goofys>

要验证您的 Workspace 目录是否已挂载，请使用下面的示例，借助 ls 命令来显示当前的工作目录。输出结果应该显示 Workspace 中的所有文件。

%%sh
ls

在 Workspace 中完成更改后，可以使用下面的命令卸载 Workspace 目录：

%umount_workspace_dir

使用 %generate_s3_download_url 下载 Amazon S3 对象

generate_s3_download_url 命令可为存储在 Amazon S3 中的对象创建预签名 URL。您可以使用该预签名 URL 将对象下载到本地计算机。例如，您可以运行 generate_s3_download_url 下载代码写入 Amazon S3 的 SQL 查询的结果。

预设情况下，预签名 URL 的有效期为 60 分钟。您可以通过指定 --expires-in 标志的秒数来更改过期时间。例如，--expires-in 1800 创建一个有效期为 30 分钟的 URL。

下面的示例通过指定完整的 Amazon S3 路径来为对象生成下载链接：s3://EXAMPLE-DOC-BUCKET/path/to/my/object。

%generate_s3_download_url s3://EXAMPLE-DOC-BUCKET/path/to/my/object

要了解有关使用 generate_s3_download_url 的更多信息，请运行下面的命令以显示帮助文本。

%generate_s3_download_url?

使用 %execute_notebook 在无头模式下运行 Notebook

与 %execute_notebook magic，你可以在无头模式下运行另一台笔记本电脑，并查看你运行的每个单元的输出。该 magic 需要对 Amazon EMR 和亚马逊共享的实例角色拥有额外的权限。 EC2 有关如何授予额外权限的更多信息，请运行命令 %execute_notebook?。

如果有长时间运行的任务，系统可能会因为不活动而进入睡眠状态，也可能暂时失去互联网连接。这可能会中断浏览器与 Jupyter 服务器之间的连接。如果出现这种情况，您可能会丢失自己运行的单元格和 Jupyter 服务器发送的单元格的输出内容。

如果你在无头模式下运行笔记本电脑 %execute_notebook magic，EMR Notebooks 会捕获已运行的单元的输出，即使本地网络出现中断也是如此。EMR Notebooks 将输出以增量方式保存在与您运行的 Notebook 同名的新 Notebook 中。然后，EMR Notebooks 将 Notebook 放入 Workspace 内的新文件夹。无头运行发生在同一个集群上并使用 EMR_Notebook_DefaultRole 服务角色，但其他参数可能会更改默认值。

要在无头模式下运行 Notebook，请使用以下命令：

%execute_notebook <relative-file-path>

要为无头运行指定集群 ID 和服务角色，请使用以下命令：

%execute_notebook <notebook_name>.ipynb --cluster-id <emr-cluster-id> --service-role <emr-notebook-service-role>

当 Amazon EMR 和 Amazon EC2 共享实例角色时，该角色需要以下额外权限：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "elasticmapreduce:StartNotebookExecution",
                "elasticmapreduce:DescribeNotebookExecution",
                "ec2:DescribeInstances"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "iam:PassRole"
            ],
            "Resource": "arn:aws:iam::<AccoundId>:role/EMR_Notebooks_DefaultRole"
        }
    ]
}