注意
在 AWS Glue 4.0 及更高版本中,您可以使用 AWS Glue for Spark 在 Google BigQuery 中读取和写入表。要以编程方式为 Google BigQuery 配置 AWS Glue 作业,请参阅 BigQuery 连接。
AWS Glue Studio 提供一个可视化界面,用于连接到 BigQuery、编写数据集成作业并在 AWS Glue Studio 无服务器 Spark 运行时系统上运行这些作业。
在中 AWS Glue Studio 创建与 Goolge BigQuery 的连接时,系统会创建一个统一连接。有关更多信息,请参阅 注意事项。
现在,通过与 Google BigQuery 的统一连接,无需创建具有特定格式 {"credentials": "base64 encoded JSON"}
的凭证的密钥,就可以创建直接包含来自 Google BigQuery 的 JSON 的密钥:{"type": "service-account", ...}
。
高级选项
您可以在创建 BigQuery 节点时提供高级选项。这些选项与编程 Spark 脚本的 AWS Glue 时可用的选项相同。
请参阅 AWS Glue 开发者指南中的 BigQuery 连接选项参考。