将 AWS 呼叫配置为通过您的 VPC - AWS Glue

将 AWS 呼叫配置为通过您的 VPC

特殊任务参数disable-proxy-v2允许您将呼叫路由到 Amazon S3 等服务 CloudWatch，并 AWS Glue 通过您的VPC。默认情况下， AWS Glue 使用本地代理通过发送流量，从 Amazon S3 下载脚本和库，向发送发布日志和指标的请求，以及向发送访问数据目录 AWS Glue 的请求。 AWS Glue VPC CloudWatch 即使您VPC没有配置通往其他 AWS 服务（例如 Amazon S3、和）的正确路由，此代理也允许任务正常运行 AWS Glue。 CloudWatch AWS Glue 现在提供了一个参数供你关闭此行为。有关更多信息，请参阅使用的 Job 参数 AWS Glue。 AWS Glue 将继续使用本地代理来发布您的 AWS Glue 作业 CloudWatch 日志。

注意

  • 2.0 及以上 AWS Glue 版本的 AWS Glue 作业支持此功能。使用此功能时，您需要确保VPC已配置通过NAT或服务VPC终端节点到 Amazon S3 的路由。

  • 已弃用的任务参数disable-proxy仅将您的调用路由到 Amazon S3，以便通过您VPC下载脚本和库。建议改用新参数 disable-proxy-v2。

示例用法

使用以下方法创建 AWS Glue 工作disable-proxy-v2：

aws glue create-job \
    --name no-proxy-job \
    --role GlueDefaultRole \
    --command "Name=glueetl,ScriptLocation=s3://my-bucket/glue-script.py" \
    --connections Connections="traffic-monitored-connection" \
    --default-arguments '{"--disable-proxy-v2" : "true"}'