AWS Glue Ray 交互式会话支持魔术命令
AWS Glue Jupyter 内核为 Ray 交互式会话提供动力的魔法与 Spark 会话的魔法类似。有关参考,请参阅 为 Jupyter 和 AWS Glue Studio 笔记本配置 AWS Glue 交互式会话 。
会话魔术命令
会话魔术命令与 AWS Glue for Ray 预览版之前的魔术命令基本相同。获取有关此预览之外的魔术命令的更多信息,请参阅 Jupyter 的 AWS Glue 交互式会话支持魔术命令 。我们推出了一种新的魔术命令,可以将会话类型设置为 AWS Glue for Ray。
名称 | Type | 描述 |
---|---|---|
%glue_ray
|
String | 将会话类型更改为 AWS Glue for Ray。 |
AWS Glue config 魔术命令
在交互式会话中配置 AWS Glue 的魔法可能因会话类型而异。目前,我们仅在使用 AWS Glue for Ray 时支持现有魔术命令的这个子集。
警告
已知问题:additional_python_modules
在 Ray 交互式会话预览版中,保存笔记本时使用 additional_python_modules
魔术命令会导致出现问题。要为 Ray 会话配置 python 模块,请使用 %%configure
魔术命令设置 在 Ray 作业中使用作业参数 中定义的 pip-install
参数。
名称 | Type | 描述 |
---|---|---|
%%configure
|
词典 | 指定一个 JSON 格式的词典,其中包含会话的所有配置参数。每个参数可以在此处指定,也可以通过单独的魔术命令指定。 |
%iam_role |
String | 指定用于执行会话的 IAM 角色 ARN。~/.aws/configure 的默认值 |
%number_of_workers |
int | 任务运行时分配的定义 worker_type 的工件数量。还必须设置 worker_type 。 |
%worker_type |
String | 在 AWS Glue for Ray 预览版中,唯一支持的工作线程类型是 Z.2X。 |
%additional_python_modules |
列出 | 要包含在集群中的其他 Python 模块的逗号分隔列表(可以来自 Pypi 或 S3)。 |
操作魔术命令
AWS Glue Ray 会话不支持任何动作魔法。