AWS Glue Ray 交互式会话支持魔术命令 - AWS Glue

AWS Glue Ray 交互式会话支持魔术命令

AWS Glue Jupyter 内核为 Ray 交互式会话提供动力的魔法与 Spark 会话的魔法类似。有关参考,请参阅 为 Jupyter 和 AWS Glue Studio 笔记本配置 AWS Glue 交互式会话

会话魔术命令

会话魔术命令与 AWS Glue for Ray 预览版之前的魔术命令基本相同。获取有关此预览之外的魔术命令的更多信息,请参阅 Jupyter 的 AWS Glue 交互式会话支持魔术命令 。我们推出了一种新的魔术命令,可以将会话类型设置为 AWS Glue for Ray。

名称 Type 描述
%glue_ray String 将会话类型更改为 AWS Glue for Ray。

AWS Glue config 魔术命令

在交互式会话中配置 AWS Glue 的魔法可能因会话类型而异。目前,我们仅在使用 AWS Glue for Ray 时支持现有魔术命令的这个子集。

警告

已知问题:additional_python_modules

在 Ray 交互式会话预览版中,保存笔记本时使用 additional_python_modules 魔术命令会导致出现问题。要为 Ray 会话配置 python 模块,请使用 %%configure 魔术命令设置 在 Ray 作业中使用作业参数 中定义的 pip-install 参数。

名称 Type 描述
%%configure 词典 指定一个 JSON 格式的词典,其中包含会话的所有配置参数。每个参数可以在此处指定,也可以通过单独的魔术命令指定。
%iam_role String 指定用于执行会话的 IAM 角色 ARN。~/.aws/configure 的默认值
%number_of_workers int 任务运行时分配的定义 worker_type 的工件数量。还必须设置 worker_type
%worker_type String 在 AWS Glue for Ray 预览版中,唯一支持的工作线程类型是 Z.2X。
%additional_python_modules 列出 要包含在集群中的其他 Python 模块的逗号分隔列表(可以来自 Pypi 或 S3)。

操作魔术命令

AWS Glue Ray 会话不支持任何动作魔法。