Connecteur Amazon Athena OpenSearch

Déployez le connecteur sur votre Compte AWS à l’aide de la console Athena ou du AWS Serverless Application Repository. Pour plus d’informations, consultez Création d'une connexion à une source de données ou Utilisez le AWS Serverless Application Repository pour déployer un connecteur de source de données.

Domaine : nom que ce connecteur associe au point de terminaison de votre OpenSearch instance. Le domaine est également utilisé comme nom de base de données. Pour les OpenSearch instances définies au sein d'Amazon OpenSearch Service, le domaine est détectable automatiquement. Pour les autres cas, vous devez fournir un mappage entre le nom de domaine et le point de terminaison.

Index — Table de base de données définie dans votre OpenSearch instance.

Mapping (Mappage) – Si un index est une table de base de données, le mappage est son schéma (c’est-à-dire les définitions de ses champs et attributs).

Ce connecteur prend en charge la récupération des métadonnées depuis l' OpenSearch instance et depuis le AWS Glue Data Catalog. Si le connecteur trouve une AWS Glue base de données et une table qui correspondent à vos noms de OpenSearch domaine et d'index, il tente de les utiliser pour définir le schéma. Nous vous recommandons de créer votre AWS Glue table de manière à ce qu'elle soit un sur-ensemble de tous les champs de votre OpenSearch index.

Document – Un enregistrement au sein d’une table de base de données.

Flux de données – Données temporelles composées de plusieurs index de support. Pour plus d'informations, consultez les sections Flux de données dans la OpenSearch documentation et Getting started with data streams dans le Amazon OpenSearch Service Developer Guide.

spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

spill_put_request_headers — (Facultatif) Carte JSON codée des en-têtes de demande et des valeurs pour la putObject demande Amazon S3 utilisée pour le spilling (par exemple,). {"x-amz-server-side-encryption" : "AES256"} Pour les autres en-têtes possibles, consultez PutObjectle Amazon Simple Storage Service API Reference.

kms_key_id — (Facultatif) Par défaut, toutes les données transmises à Amazon S3 sont chiffrées à l'aide AES du mode de chiffrement authentifié et d'une clé GCM générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus fortes générées par KMS likea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier un identifiant de KMS clé.

disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. Par défaut, les données False transmises à S3 sont chiffrées à l'aide de AES GCM -, soit à l'aide d'une clé générée de manière aléatoire, soit KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

disable_glue — (Facultatif) S'il est présent et défini sur true, le connecteur ne tente pas de récupérer des métadonnées supplémentaires à partir de. AWS Glue

query_timeout_cluster – Le délai d’expiration, en secondes, pour les requêtes d’intégrité du cluster utilisées dans la génération d’examens parallèles.

query_timeout_search – Le délai d’expiration, en secondes, des requêtes de recherche utilisées pour récupérer des documents à partir d’un index.

auto_discover_endpoint – Valeur booléenne. L’argument par défaut est true. Lorsque vous utilisez le OpenSearch service Amazon et que vous définissez ce paramètre sur true, le connecteur peut découvrir automatiquement vos domaines et points de terminaison en appelant les API opérations de description ou de liste appropriées sur le OpenSearch service. Pour tout autre type d' OpenSearch instance (par exemple, auto-hébergée), vous devez spécifier les points de terminaison de domaine associés dans la domain_mapping variable. Siauto_discover_endpoint=true, le connecteur utilise des AWS informations d'identification pour s'authentifier auprès du OpenSearch service. Dans le cas contraire, le connecteur récupère les informations d'identification du nom d'utilisateur et du mot de passe AWS Secrets Manager via la domain_mapping variable.

domain_mapping – Utilisé uniquement lorsque auto_discover_endpoint est défini sur false et définit le mappage entre les noms de domaine et leurs points de terminaison associés. La domain_mapping variable peut prendre en charge plusieurs OpenSearch points de terminaison au format suivant :

domain1=endpoint1,domain2=endpoint2,domain3=endpoint3,...       

Aux fins de l'authentification auprès d'un OpenSearch point de terminaison, le connecteur prend en charge les chaînes de substitution injectées en utilisant le format dont le nom ${SecretName}: d'utilisateur et le mot de passe ont été extraits AWS Secrets Manager. Le signe deux-points (:) à la fin de l’expression sert de séparateur par rapport au reste du point de terminaison.

L’exemple suivant utilise le secret opensearch-creds.

movies=https://${opensearch-creds}:search-movies-ne...qu---us-east-1---es.amazonaws.com     

Au moment de l’exécution, ${opensearch-creds} est affiché sous la forme du nom d’utilisateur et du mot de passe, comme dans l’exemple suivant.

movies=https://myusername@mypassword:search-movies-ne...qu---us-east-1---es.amazonaws.com

Dans le paramètre domain_mapping, chaque paire domaine-point de terminaison peut utiliser un secret différent. Le secret lui-même doit être spécifié au format user_name @password. Bien que le mot de passe puisse contenir @ des signes intégrés, le premier @ sert de séparateur deuser_name.

Il est également important de noter que la virgule (,) et le signe égal (=) sont utilisés par ce connecteur comme séparateurs pour les paires domaine-point de terminaison. Pour cette raison, vous ne devez les utiliser nulle part dans le secret stocké.

Actuellement, le connecteur ne prend en charge que les AWS Glue types de données OpenSearch et répertoriés dans le tableau précédent.

Unscaled_float est un nombre à virgule flottante mis à l’échelle par un facteur de mise à l’échelle double fixe et représenté en tant que BIGINT dans Apache Arrow. Par exemple, 0,756 avec un facteur d’échelle de 100 est arrondi à 76.

Pour définir un scaled_float in AWS Glue, vous devez sélectionner le type de array colonne et déclarer le champ au format SCALED _ FLOAT (scaling_factor).

Les exemples suivants sont valides :

SCALED_FLOAT(10.51) 
SCALED_FLOAT(100) 
SCALED_FLOAT(100.0)

Les exemples suivants ne sont pas valides :

SCALED_FLOAT(10.) 
SCALED_FLOAT(.5)

Lors de la conversion de date_nanos vers DATEMILLI, les nanosecondes sont arrondies à la milliseconde la plus proche. Valeurs valides pour date et date_nanos incluent, sans s’y limiter, les formats suivants :

"2020-05-18T10:15:30.123456789" 
"2020-05-15T06:50:01.123Z" 
"2020-05-15T06:49:30.123-05:00" 
1589525370001 (epoch milliseconds)

An OpenSearch binary est une représentation sous forme de chaîne d'une valeur binaire codée en utilisant Base64 et convertie en VARCHAR a.

Pour consulter un article sur l'utilisation du OpenSearch connecteur Amazon Athena pour interroger des données dans Amazon OpenSearch Service et Amazon S3 en une seule requête, voir Interroger des données dans Amazon OpenSearch Service à l'aide SQL d'Amazon Athena sur AWS le Big Data Blog.

Pour plus d'informations sur ce connecteur, rendez-vous sur le site correspondant sur GitHub .com.