Configuration d'une source de données dans les OpenSearch tableaux de bord - Amazon OpenSearch Service
Configurer le contrôle d'accèsConfigurer des intégrations pour les types de AWS journaux les plus courantsGuides de référence pour exporter des données vers Amazon S3Création de tables Spark à l'aide de Query Workbench

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configuration d'une source de données dans les OpenSearch tableaux de bord

Maintenant que vous avez créé votre source de données, vous pouvez configurer les paramètres de sécurité, définir vos tables Amazon S3 ou configurer l'indexation accélérée des données. Cette section vous présente les différents cas d'utilisation de votre source de données dans les OpenSearch tableaux de bord avant que vous n'interrogiez vos données.

Pour configurer les sections suivantes, vous devez d'abord accéder à votre source de données dans les OpenSearch tableaux de bord. Dans le menu de navigation de gauche, sous Gestion, sélectionnez Sources de données. Sous Gérer les sources de données, sélectionnez le nom de la source de données que vous avez créée dans la console.

Configurer le contrôle d'accès

Sur la page de détails de votre source de données, recherchez la section Contrôles d'accès et choisissez Modifier. Si le plug-in de sécurité est installé, choisissez Restreint et sélectionnez les groupes basés sur les rôles que vous souhaitez autoriser à accéder à la nouvelle source de données. Vous pouvez également choisir Admin uniquement si vous souhaitez que l'administrateur ait uniquement accès à la source de données.

Important

Les index sont utilisés pour toutes les requêtes portant sur la source de données. Un utilisateur disposant d'un accès en lecture à l'index des requêtes pour une source de données donnée peut lire toutes les requêtes relatives à cette source de données. Un utilisateur disposant d'un accès en lecture à l'index des résultats peut lire les résultats de toutes les requêtes portant sur cette source de données.

Configurer des intégrations pour les types de AWS journaux les plus courants

OpenSearch Les tableaux de bord permettent de commencer rapidement à utiliser les types de journaux courants stockés dans Amazon S3 à l'aide de journaux bruts, à l'exception des journaux Amazon VPC Flow qui sont pris en charge au format Parquet. OpenSearch Les tableaux de bord proposent des intégrations qui installent l'accès à des actifs tels que des AWS Glue Data Catalog tables, des requêtes enregistrées et des tableaux de bord. Ces actifs sont alimentés par OpenSearch des accélérations et seront automatiquement mis à jour une fois que vous les aurez installés. Vous pouvez configurer les intégrations à partir de la page de détails de la source de données ou de la navigation de gauche. Pour cela :

  1. Sélectionnez le type de journal que vous souhaitez installer. Assurez-vous que le type de journal que vous installez possède la balise Amazon S3.

  2. Sélectionnez le type de connexion en tant que connexion Amazon S3 si ce n'est pas déjà fait.

  3. Sélectionnez le nom de la source de données sur laquelle vous souhaitez installer l'intégration, l'emplacement des données sur Amazon S3, le point de contrôle que vous souhaitez utiliser pour maintenir le statut d'indexation par accélération et les actifs souhaités en fonction de votre cas d'utilisation.

    Note

    Lors de la création du rôle IAM, vous avez spécifié une ressource Amazon S3 pour un point de contrôle dotée d'autorisations d'écriture pour l'emplacement du point de contrôle. Vous devrez faire référence à un emplacement de compartiment Amazon S3 disposant d'un accès en écriture pour l'emplacement du point de contrôle. Si vous ne le faites pas, les accélérations que l'intégration installera échoueront.

    Note

    L'intégration des journaux de flux Amazon VPC nécessite l'installation d'un correctif à l'aide OpenSearch de Dashboards. Le remplissage des tableaux de bord que vous avez installés peut prendre quelques minutes.

Guides de référence pour exporter des données vers Amazon S3

Vous pouvez utiliser les guides de référence suivants pour exporter des données vers Amazon S3 :

Les sources :

Création de tables Spark à l'aide de Query Workbench

Les requêtes directes de OpenSearch Service à Amazon S3 utilisent les tables Spark dans le AWS Glue Data Catalog. Vous pouvez créer des tables depuis le Query Workbench sans avoir à quitter les OpenSearch tableaux de bord.

Pour gérer les bases de données et les tables existantes dans votre source de données, ou pour créer de nouvelles tables sur lesquelles vous souhaitez utiliser des requêtes directes, sélectionnez Query Workbench dans le menu de navigation de gauche et sélectionnez la source de données Amazon S3 dans le menu déroulant des sources de données.

Pour configurer une table pour les journaux de flux VPC stockés au format S3 au format Parquet, exécutez la requête suivante : 

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

Après avoir créé la table, exécutez la requête suivante pour vous assurer qu'elle est compatible avec les requêtes directes :

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable