翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

BigQuery 接続

AWS Glue for Spark を使用して、AWS Glue 4.0 以降のバージョンの Google BigQuery のテーブルからの読み取りとテーブルへの書き込みを行うことができます。Google SQL クエリを使用して BigQuery からの読み取りを行うことができます。AWS Glue 接続を介して AWS Secrets Manager で保存されている認証情報を使用して BigQuery に接続します。

Google BigQuery の詳細については、Google Cloud BigQuery のウェブサイトを参照してください。

BigQuery 接続を設定する

AWS Glue から Google BigQuery へ接続するには、Google Cloud Platform の認証情報を作成して AWS Secrets Manager シークレットに保存し、そのシークレットを Google BigQuery AWS Glue 接続に関連付ける必要があります。

BigQuery テーブルから読み取る

前提条件:

例:

bigquery_read = glueContext.create_dynamic_frame.from_options(
    connection_type="bigquery",
    connection_options={
        "connectionName": "connectionName",
        "parentProject": "parentProject",
        "sourceType": "table",
        "table": "tableName",
    }
        

クエリを指定して、DynamicFrame に返される結果をフィルタリングすることもできます。query、sourceType、viewsEnabled および materializationDataset を設定する必要があります。

例:

追加の前提条件:

BigQuery がクエリのマテリアライズドビューを書き込むことのできる BigQuery データセット、materializationDataset を作成または特定する必要があります。

materializationDataset にテーブルを作成するには、サービスアカウントに適切な GCP IAM アクセス許可を付与する必要があります。

glueContext.create_dynamic_frame.from_options(
            connection_type="bigquery",
            connection_options={
                "connectionName": "connectionName",
                "materializationDataset": materializationDataset,
                "parentProject": "parentProject",
                "viewsEnabled": "true",
                "sourceType": "query",
                "query": "select * from bqtest.test"
            }
        )

BigQuery テーブルへ書き込む

この例では BigQuery サービスに直接書き込みます。BigQuery は「間接」書き込み方法もサポートしています。間接書き込みの設定の詳細については、「Google BigQuery での間接書き込みを使用する」を参照してください。

前提条件:

例:

bigquery_write = glueContext.write_dynamic_frame.from_options(
    frame=frameToWrite,
    connection_type="bigquery",
    connection_options={
        "connectionName": "connectionName",
        "parentProject": "parentProject",
        "writeMethod": "direct",
        "table": "tableName",
    }
)
        

BigQuery 接続オプションのリファレンス

Google BigQuery での間接書き込みを使用する

この例では、Google Cloud ストレージにデータを書き込み、それを Google BigQuery にコピーする間接書き込みを使用しています。

前提条件:

Google Cloud Storage の一時的なバケット、temporaryBucket が必要になります。

AWS Glue の GCP サービスアカウントの GCP IAM ロールには、temporaryBucket にアクセスするための適切な GCS アクセス許可が必要です。

追加設定:

一時的な GCS バケットの場所を書き込みメソッドに指定できるようになりました。indirect がこれまでデフォルトだったように、writeMethod を指定する必要はありません。

bigquery_write = glueContext.write_dynamic_frame.from_options(
    frame=frameToWrite,
    connection_type="bigquery",
    connection_options={
        "connectionName": "connectionName",
        "parentProject": "parentProject",
        "temporaryGcsBucket": "temporaryBucket",
        "table": "tableName",
    }
)