Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Lecture depuis une API REST

Après avoir enregistré une API REST ConnectionType et créé une AWS Glue connexion, vous pouvez lire les données de l'API REST dans vos tâches AWS Glue ETL. Grâce à cette connexion, vous pouvez traiter des données d'API REST externes en même temps que d'autres sources au cours de la même tâche. Vous avez besoin du nom de la connexion et du nom de l'entité pour lire les données.

L'exemple suivant montre comment lire à partir d'une source de données d'API REST à l'aide de Python :

rest_read = glueContext.create_dynamic_frame.from_options(
    connection_type="rest",
    connection_options={
        "connectionName": "connection-name",
        "ENTITY_NAME": "entity-name",
        "CONNECTION_TYPE": "REST-connection-type"
    }
)

Filtrage des données

Vous pouvez envoyer les prédicats de filtre vers le bas vers l'API REST source afin de réduire la quantité de données transférées. Le connecteur REST API prend en charge deux modes de filtrage :

Pour appliquer un prédicat de filtre à votre tâche AWS Glue ETL, utilisez l'option de FILTER_PREDICATE connexion :

rest_read = glueContext.create_dynamic_frame.from_options(
    connection_type="rest",
    connection_options={
        "connectionName": "connection-name",
        "ENTITY_NAME": "entity-name",
        "CONNECTION_TYPE": "REST-connection-type",
        "FILTER_PREDICATE": "status = \"ACTIVE\" AND lastUpdated >= \"2024-01-01T00:00:00.000Z\""
    }
)

FilterConfiguration propriétés

Configurez le comportement de filtrage dans votre ConnectionType enregistrement à l'aide de l'FilterConfigurationobjet. Le tableau suivant décrit les propriétés disponibles :

FilterStringConfiguration propriétés

Le tableau suivant décrit les propriétés du FILTER_STRING mode :

BetweenConfiguration propriétés

Le tableau suivant décrit les propriétés de gestion BETWEEN :

Opérateurs pris en charge

Les opérateurs suivants sont pris en charge dans les prédicats de filtre : EQUAL_TOGREATER_THAN,LESS_THAN,GREATER_THAN_OR_EQUAL_TO,LESS_THAN_OR_EQUAL_TO,NOT_EQUAL_TO,CONTAINS,, BETWEENAND,OR.

Field-level annule

Vous pouvez configurer le comportement du filtre par champ à l'aide FilterOverrides de la définition du schéma. Les propriétés de remplacement suivantes sont disponibles :

Exemple : mode QUERY_PARAMS

L'exemple suivant montre une FilterConfiguration API REST qui utilise des paramètres de requête avec une notation entre crochets pour les opérateurs et des horodatages d'époque pour les valeurs de date :

"FilterConfiguration": {
    "FilterMode": "QUERY_PARAMS",
    "OperatorMappings": {
        "EQUAL_TO": "{FIELD}",
        "GREATER_THAN_OR_EQUAL_TO": "{FIELD}[gte]",
        "LESS_THAN_OR_EQUAL_TO": "{FIELD}[lte]"
    },
    "DateTimeFormat": "EPOCH_SECONDS",
    "BetweenConfiguration": {
        "LowBoundKey": "{FIELD}[gte]",
        "HighBoundKey": "{FIELD}[lte]"
    }
}

Avec cette configuration, un filtre d'entrée created >= 2024-01-01 AND created <= 2024-06-01 produit la chaîne de requête URL : ?created[gte]=1704067200&created[lte]=1717200000

Exemple : mode FILTER_STRING

L'exemple suivant montre un FilterConfiguration pour une API REST qui utilise un seul paramètre de chaîne de filtre avec des opérateurs remplis d'espaces :

"FilterConfiguration": {
    "FilterMode": "FILTER_STRING",
    "OperatorMappings": {
        "EQUAL_TO": " eq ",
        "GREATER_THAN": " gt ",
        "GREATER_THAN_OR_EQUAL_TO": " ge ",
        "LESS_THAN": " lt ",
        "AND": " and ",
        "OR": " or "
    },
    "DateTimeFormat": "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'",
    "BetweenConfiguration": {
        "Template": "{FIELD} ge {LOW} and {FIELD} le {HIGH}"
    },
    "FilterStringConfiguration": {
        "FilterStringKey": "search",
        "QuoteStringValues": true,
        "QuoteCharacter": "\""
    }
}

Avec cette configuration, un filtre d'entrée status = "ACTIVE" AND lastUpdated > 2024-01-01T00:00:00.000Z produit la chaîne de requête URL : ?search=status eq "ACTIVE" and lastUpdated gt "2024-01-01T00:00:00.000Z"

Requêtes de partitionnement

Vous pouvez diviser les lectures de données en partitions parallèles entre les Spark ordinateurs afin d'améliorer le débit. Le connecteur d'API REST prend en charge le partitionnement basé sur les champs, qui divise les données en plages en fonction d'un champ spécifié.

Spark paramètres de la tâche

Les options de connexion suivantes contrôlent le comportement de partitionnement :

Field-based partitionnement

Field-based le partitionnement divise les données en plages en fonction d'un champ spécifié. L'exemple suivant partitionne les données sur le lastUpdated terrain :

rest_read = glueContext.create_dynamic_frame.from_options(
    connection_type="rest",
    connection_options={
        "connectionName": "connection-name",
        "ENTITY_NAME": "entity-name",
        "CONNECTION_TYPE": "REST-connection-type",
        "PARTITION_FIELD": "lastUpdated",
        "LOWER_BOUND": "2024-01-01T00:00:00.000Z",
        "UPPER_BOUND": "2024-12-31T00:00:00.000Z",
        "NUM_PARTITIONS": "4"
    }
)

Avec 4 partitions sur le lastUpdated terrain, l'œuvre est distribuée comme suit :

Configuration de la prise en charge des partitions dans RegisterConnectionType

Pour activer le partitionnement basé sur les champs, marquez les champs comme étant partitionnables dans la définition du schéma :

"Schema": {
    "lastUpdated": {
        "FieldDataType": "TIMESTAMP",
        "IsPartitionable": true
    }
}

Les FieldDataType valeurs suivantes sont prises en charge pour le partitionnement :