在 OpenSearch 仪表板中配置数据源 - 亚马逊 OpenSearch 服务
设置访问控制为常用 AWS 日志类型设置集成将数据导出到 Amazon S3 的参考指南使用查询工作台创建 Spark 表

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

在 OpenSearch 仪表板中配置数据源

现在，您已创建数据来源，可以配置安全设置、定义 Amazon S3 表或设置加速数据索引。在查询数据之前，本节将引导您了解 OpenSearch 仪表板中数据源的各种用例。

要配置以下部分，必须先在 OpenSearch 仪表板中导航到您的数据源。在左侧导航的管理下，选择数据来源。在管理数据来源下，选择您在控制台中创建的数据来源的名称。

设置访问控制

在数据源的详细信息页面上，找到 “访问控制” 部分，然后选择 “编辑”。如果您安装了安全插件，请选择受限，然后选择要向哪些基于角色的组提供对新数据来源的访问权限。如果您只想让管理员访问数据来源，也可以选择仅管理员。

重要

索引用于针对数据来源的任何查询。对给定数据来源的请求索引具有读取权限的用户可以读取针对该数据来源的所有查询。对结果索引具有读取权限的用户可以读取针对该数据来源的所有查询的结果。

为常用 AWS 日志类型设置集成

OpenSearch 通过控制面板，您可以使用原始日志轻松快速开始使用存储在 Amazon S3 中的常见日志类型，但 Parquet 格式支持的 Amazon VPC 流日志除外。 OpenSearch 仪表板提供的集成功能可以安装对 AWS Glue Data Catalog 表格、已保存的查询和仪表板等资产的访问权限。这些资产由 OpenSearch 加速功能提供支持，在你安装后会自动更新。您可以从数据源详细信息页面或左侧导航栏中设置集成。要实现此目的，应按照以下步骤进行：

  1. 选择要安装的日志类型。确保您安装的日志类型具有 Amazon S3 标签。

  2. 如果尚未选择，请选择连接类型作为 Amazon S3 连接。

  3. 根据您的用例，选择要安装集成的数据源名称、数据的 Amazon S3 位置、用于保持加速索引状态的检查点以及所需的资产。

    注意

    创建 IAM 角色时，您为具有检查点位置写入操作权限的检查点指定了 Amazon S3 资源。您需要引用对检查点位置具有写入权限的 Amazon S3 存储桶位置。否则，集成将安装的加速将失败。

    注意

    Amazon VPC 流日志集成需要使用 OpenSearch 控制面板安装补丁。填充已安装的仪表板可能需要几分钟。

将数据导出到 Amazon S3 的参考指南

您可以使用以下参考指南将数据导出到 Amazon S3：

源：

使用查询工作台创建 Spark 表

从 OpenSearch 服务直接查询到 Amazon S3 使用中的 Spark 表 AWS Glue Data Catalog。您可以从查询工作台中创建表格，而不必离开 OpenSearch 控制面板。

要管理数据源中的现有数据库和表，或者要创建要使用直接查询的新表，请从左侧导航栏中选择 Query Workbench，然后从数据源下拉列表中选择 Amazon S3 数据源。

要为以 Parquet 格式存储在 S3 中的 VPC 流日志设置表，请运行以下查询：

CREATE TABLE 
datasourcename.gluedatabasename.vpclogstable (version INT, account_id STRING, interface_id STRING, 
srcaddr STRING, dstaddr STRING, srcport INT, dstport INT, protocol INT, packets BIGINT, 
bytes BIGINT, start BIGINT, end BIGINT, action STRING, log_status STRING, 
`aws-account-id` STRING, `aws-service` STRING, `aws-region` STRING, year STRING, 
month STRING, day STRING, hour STRING) 

USING parquet PARTITIONED BY (aws-account-id, aws-service, aws-region, year, month, 
day, hour) 

LOCATION "s3://accountnum-vpcflow/AWSLogs"

创建该表后，运行以下查询以确保其与直接查询兼容：

MSCK REPAIR TABLE  datasourcename.databasename.vpclogstable