REST API からの読み取り

REST API ConnectionType を登録して AWS Glue 接続を作成したら、AWS Glue ETL ジョブの REST API からデータを読み取ることができます。この接続を使用すると、外部 REST API データを同じジョブ内の他のソースと一緒に処理できます。データを読み取るには、接続名とエンティティ名が必要です。

次の例に、Python を使用して、REST API データソースからの読み取りを実行する方法を示します。

rest_read = glueContext.create_dynamic_frame.from_options(
    connection_type="rest",
    connection_options={
        "connectionName": "connection-name",
        "ENTITY_NAME": "entity-name",
        "CONNECTION_TYPE": "REST-connection-type"
    }
)

データのフィルタリング

フィルター述語をソース REST API にプッシュダウンして、転送されるデータ量を減らすことができます。REST API コネクタは、以下の 2 つのフィルターモードをサポートしています。

AWS Glue ETL ジョブにフィルター述語を適用するには、FILTER_PREDICATE 接続オプションを使用します。

rest_read = glueContext.create_dynamic_frame.from_options(
    connection_type="rest",
    connection_options={
        "connectionName": "connection-name",
        "ENTITY_NAME": "entity-name",
        "CONNECTION_TYPE": "REST-connection-type",
        "FILTER_PREDICATE": "status = \"ACTIVE\" AND lastUpdated >= \"2024-01-01T00:00:00.000Z\""
    }
)

FilterConfiguration プロパティ

FilterConfiguration オブジェクトを使用して ConnectionType 登録でフィルタリング動作を設定します。以下の表で、利用できるプロパティについて説明します。

FilterStringConfiguration プロパティ

次のテーブルは、FILTER_STRING モードのプロパティについての説明です。

BetweenConfiguration プロパティ

次のテーブルは、BETWEEN 処理プロパティについての説明です。

サポートされている演算子

フィルター述語では、EQUAL_TO、GREATER_THAN、LESS_THAN、GREATER_THAN_OR_EQUAL_TO、LESS_THAN_OR_EQUAL_TO、NOT_EQUAL_TO、CONTAINS、BETWEEN、AND、OR の演算子がサポートされています。

フィールドレベルのオーバーライド

スキーマ定義の FilterOverrides を使用してフィールドごとのフィルター動作を設定できます。以下のオーバーライドプロパティを使用できます。

例: QUERY_PARAMS モード

次の例は、演算子に角括弧表記、日付値にエポックタイムスタンプのクエリパラメータを使用する REST API の FilterConfiguration を示しています。

"FilterConfiguration": {
    "FilterMode": "QUERY_PARAMS",
    "OperatorMappings": {
        "EQUAL_TO": "{FIELD}",
        "GREATER_THAN_OR_EQUAL_TO": "{FIELD}[gte]",
        "LESS_THAN_OR_EQUAL_TO": "{FIELD}[lte]"
    },
    "DateTimeFormat": "EPOCH_SECONDS",
    "BetweenConfiguration": {
        "LowBoundKey": "{FIELD}[gte]",
        "HighBoundKey": "{FIELD}[lte]"
    }
}

この設定では、created >= 2024-01-01 AND created <= 2024-06-01 の入力フィルターによって URL クエリ文字列が生成されます。?created[gte]=1704067200&created[lte]=1717200000

例: FILTER_STRING モード

次の例は、スペース詰め演算子で単一のフィルター文字列パラメータを使用する REST API の FilterConfiguration を示しています。

"FilterConfiguration": {
    "FilterMode": "FILTER_STRING",
    "OperatorMappings": {
        "EQUAL_TO": " eq ",
        "GREATER_THAN": " gt ",
        "GREATER_THAN_OR_EQUAL_TO": " ge ",
        "LESS_THAN": " lt ",
        "AND": " and ",
        "OR": " or "
    },
    "DateTimeFormat": "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'",
    "BetweenConfiguration": {
        "Template": "{FIELD} ge {LOW} and {FIELD} le {HIGH}"
    },
    "FilterStringConfiguration": {
        "FilterStringKey": "search",
        "QuoteStringValues": true,
        "QuoteCharacter": "\""
    }
}

この設定では、status = "ACTIVE" AND lastUpdated > 2024-01-01T00:00:00.000Z の入力フィルターによって URL クエリ文字列が生成されます。?search=status eq "ACTIVE" and lastUpdated gt "2024-01-01T00:00:00.000Z"

パーティショニングクエリ

データ読み取りを Spark ワーカー間で並列パーティションに分割して、スループットを向上させることができます。REST API コネクタは、指定されたフィールドに基づいてデータを範囲に分割するフィールドベースのパーティショニングをサポートします。

Spark ジョブのパラメータ

次の接続オプションは、パーティショニングの動作を制御します。

フィールドベースのパーティション分割

フィールドベースのパーティショニングは、指定されたフィールドに基づいてデータを範囲に分割します。次の例では、lastUpdated フィールドのデータをパーティショニングします。

rest_read = glueContext.create_dynamic_frame.from_options(
    connection_type="rest",
    connection_options={
        "connectionName": "connection-name",
        "ENTITY_NAME": "entity-name",
        "CONNECTION_TYPE": "REST-connection-type",
        "PARTITION_FIELD": "lastUpdated",
        "LOWER_BOUND": "2024-01-01T00:00:00.000Z",
        "UPPER_BOUND": "2024-12-31T00:00:00.000Z",
        "NUM_PARTITIONS": "4"
    }
)

lastUpdated フィールドに 4 つのパーティションがある場合、作業は次のように分散されます。

RegisterConnectionType でのパーティションサポートの設定

フィールドベースのパーティショニングを有効にするには、スキーマ定義でフィールドをパーティションニング可能としてマークします。

"Schema": {
    "lastUpdated": {
        "FieldDataType": "TIMESTAMP",
        "IsPartitionable": true
    }
}

パーティション分割では、以下の FieldDataType 値がサポートされています。