Utilisation des requêtes directes Amazon OpenSearch Service avec Amazon S3 - Amazon OpenSearch Service
TarificationLimitesRecommandationsQuotasRégions prises en charge

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des requêtes directes Amazon OpenSearch Service avec Amazon S3

Vous pouvez utiliser les requêtes directes Amazon OpenSearch Service pour interroger des données dans Amazon S3. Amazon OpenSearch Service fournit une intégration directe des requêtes à Amazon S3 afin d'analyser les journaux opérationnels dans Amazon S3 et les lacs de données basés sur Amazon S3 sans avoir à passer d'un service à l'autre. Vous pouvez désormais analyser les données dans les magasins d'objets cloud et utiliser simultanément les analyses opérationnelles et les visualisations de Service. OpenSearch

Grâce aux requêtes directes avec Amazon S3, vous n'avez plus besoin de créer des pipelines ETL complexes ni de devoir engager des dépenses pour dupliquer des données à la fois dans le stockage OpenSearch Service et Amazon S3. Vous pouvez également installer des intégrations de modèles de type de journal courants qui incluent des tableaux de bord prédéfinis, et configurer des accélérations de données adaptées à ce type de journal. Les modèles incluent les journaux de flux VPC, les AWS CloudTrail journaux et les journaux Amazon S3. Les accélérations incluent le saut d'index, de vues matérialisées et d'index couverts.

Rubriques

Tarification

Vous payez pour le OpenSearch service existant et les ressources Amazon S3 qui sont utilisées pour créer et traiter des requêtes directes. Les requêtes envoyées à Amazon S3 utilisent le calcul facturable et s'affichent sous forme d'unités de OpenSearch calcul (OCU) par heure.

Les requêtes directes avec Amazon S3 sont de deux types : les requêtes interactives et les requêtes accélérées. Les requêtes interactives analysent vos données dans Amazon S3. Lorsque vous exécutez une nouvelle requête, le OpenSearch service démarre une nouvelle session d'une durée minimale de trois minutes. OpenSearch Le service maintient la session active pour garantir que les requêtes suivantes s'exécutent rapidement. Les requêtes d'accélération utilisent le calcul pour maintenir les index dans OpenSearch Service. Ces requêtes prennent généralement plus de temps car elles ingèrent une quantité variable de données dans le OpenSearch Service afin d'accélérer l'exécution des requêtes interactives.

Pour plus d'informations, consultez Amazon OpenSearch Service Pricing.

Limites

Les limites suivantes s'appliquent aux requêtes directes via le OpenSearch service avec Amazon S3.

  • Votre OpenSearch domaine doit être en version 2.13 ou ultérieure pour prendre en charge les requêtes directes OpenSearch du Service.

  • Non disponible sur OpenSearch Serverless.

  • Votre OpenSearch domaine AWS Glue Data Catalog doit se trouver dans le même Compte AWS. Votre compartiment Amazon S3 peut se trouver dans un autre compte (une condition doit être ajoutée à votre politique IAM), mais il doit se trouver dans le même compte Région AWS que votre domaine.

  • Certains types de données ne sont pas pris en charge. Les types de données pris en charge sont limités à Parquet, CSV et JSON.

  • OpenSearch Les requêtes directes avec Amazon S3 ne prennent en charge que les tables Spark générées à partir de Query Workbench. Les tables générées dans AWS Glue Data Catalog ou Athena ne sont pas prises en charge par le streaming Spark, qui est nécessaire pour maintenir les accélérations et maintenir les index à jour.

  • Les données doivent être aplaties avant l'interrogation ou vous devez utiliser SQL in OpenSearch Service pour transformer vos colonnes imbriquées en colonnes dédiées.

  • Les colonnes manquantes peuvent nécessiter l'utilisation de la fonction COALESCE SQL pour renvoyer les résultats.

  • Si la structure de vos données change, des mises à jour sont nécessaires pour le AWS Glue tableau ainsi que pour les accélérations existantes.

  • OpenSearch les types d'instance ont des limites de charge utile en réseau en fonction du type d'instance (10 contre 100).

  • AWS CloudFormation les modèles ne sont pas encore pris en charge.

Recommandations

Nous vous recommandons de procéder comme suit lorsque vous utilisez la requête directe :

  • Ingérez des données dans Amazon S3 en utilisant des formats de partition tels que l'année, le mois, le jour et l'heure pour accélérer les requêtes.

  • Limitez vos requêtes pour vous assurer de ne pas récupérer trop de données.

  • Utilisez la gestion de l'état des index (le cas échéant) pour conserver le stockage des vues matérialisées et des index de couverture.

  • Supprimez les tâches d'accélération et les index lorsqu'ils ne sont plus nécessaires.

  • Lorsque vous créez des index de saut, utilisez des filtres Bloom pour une cardinalité élevée et des filtres min/max pour de grandes plages. Il est recommandé d'utiliser un ensemble de valeurs sur un champ à cardinalité élevée.

  • Utilisez des guides de référence pour exporter des données vers Amazon S3. Vous pouvez utiliser AWS des journaux tels que CloudFrontCloudTrail, et Elastic Load Balancing.

Quotas

Votre compte possède les quotas suivants relatifs aux requêtes directes de OpenSearch service avec Amazon S3. Chaque fois que vous lancez une requête, le OpenSearch Service ouvre une session et la maintient active pendant au moins dix minutes. Cela réduit la latence des requêtes en supprimant le temps de démarrage des sessions lors des requêtes suivantes.

Description Maximum Peut annuler
Connexions par domaine 10 Oui
Sources de données par domaine 20 Oui
Index par domaine 5 Oui
Sessions simultanées par source de données 10 Oui
OCU maximum par requête 60 Oui
Durée maximale d'exécution des requêtes (minutes) 30 Oui
OCU maximum par accélération 20 Oui
Stockage éphémère maximal 20 Oui

Régions prises en charge

Les régions suivantes sont disponibles pour OpenSearch les requêtes directes avec Amazon S3 : Asie-Pacifique (Hong Kong), Asie-Pacifique (Mumbai), Asie-Pacifique (Séoul), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo), Canada (centre), Europe (Francfort), Europe (Irlande), Europe (Stockholm), États-Unis est (Virginie du Nord), États-Unis est (Ohio) et États-Unis ouest (Oregon).