Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de consultas directas OpenSearch de Amazon Service con Amazon S3
Puede utilizar las consultas directas OpenSearch de Amazon Service para consultar datos en Amazon S3. Amazon OpenSearch Service proporciona una integración de consultas directas con Amazon S3 para analizar los registros operativos en Amazon S3 y los lagos de datos basados en Amazon S3 sin tener que cambiar de servicio. Ahora puede analizar los datos en almacenes de objetos en la nube y, al mismo tiempo, utilizar los análisis operativos y las visualizaciones de Service. OpenSearch
Con las consultas directas con Amazon S3, ya no necesitará crear canalizaciones de ETL complejas ni incurrir en el gasto de duplicar datos tanto en el almacenamiento de Amazon S3 como en el de OpenSearch Service. También puede instalar integraciones de plantillas de tipo registro populares que incluyen paneles predefinidos y configurar aceleraciones de datos adaptadas a ese tipo de registro. Las plantillas incluyen registros de flujo de VPC, registros de AWS CloudTrail y registros de Amazon S3. Las aceleraciones incluyen la omisión de índices, las vistas materializadas y los índices cubiertos.
Temas
Precios
Usted paga por los recursos de Amazon S3 y OpenSearch Service existentes que se utilizan para crear y procesar consultas directas. Las consultas que se envían a Amazon S3 utilizan cómputo facturable y se muestran como unidades de OpenSearch cómputo (OCU) por hora.
Las consultas directas con Amazon S3 son de dos tipos: interactivas y aceleradas. Las consultas interactivas realizan análisis de sus datos en Amazon S3. Cuando ejecuta una consulta nueva, el OpenSearch servicio inicia una nueva sesión que dura un mínimo de tres minutos. OpenSearch El servicio mantiene la sesión activa para garantizar que las consultas posteriores se ejecuten rápidamente. Las consultas de aceleración utilizan la computación para mantener los índices en el OpenSearch Servicio. Estas consultas suelen tardar más tiempo porque incorporan una cantidad variable de datos a OpenSearch Service para que las consultas interactivas se ejecuten más rápido.
Para obtener más información, consulta los precios OpenSearch de Amazon Service
Limitaciones
Las siguientes limitaciones se aplican a las consultas directas del OpenSearch servicio con Amazon S3.
-
Su OpenSearch dominio debe tener la versión 2.13 o posterior para admitir las consultas directas OpenSearch del Servicio.
-
No está disponible en OpenSearch Serverless.
-
Tu OpenSearch dominio y AWS Glue Data Catalog deben estar en el mismo Cuenta de AWS dominio. Tu bucket de Amazon S3 puede estar en una cuenta diferente (es necesario añadir una condición a tu política de IAM), pero debe estar en el Región de AWS mismo lugar que tu dominio.
-
Algunos tipos de datos no son compatibles. Los tipos de datos admitidos se limitan a Parquet, CSV y JSON.
-
OpenSearch Las consultas directas de servicio con Amazon S3 solo admiten tablas de Spark generadas desde Query Workbench. Las tablas generadas dentro de Athena AWS Glue Data Catalog o Athena no son compatibles con la transmisión de Spark, que es necesaria para mantener las aceleraciones y mantener los índices actualizados.
-
Los datos se deben aplanar antes de realizar consultas o debes usar SQL in OpenSearch Service para convertir las columnas anidadas en columnas dedicadas.
-
Las columnas que faltan pueden requerir el uso de la función
COALESCESQL para devolver los resultados. -
Si la estructura de los datos cambia, es necesario actualizar la AWS Glue tabla, así como las aceleraciones existentes.
-
OpenSearch los tipos de instancias tienen limitaciones de carga útil en red según el tipo de instancia (10 contra 100).
-
AWS CloudFormation las plantillas aún no son compatibles.
Recomendaciones
Le recomendamos que haga lo siguiente cuando utilice la consulta directa:
-
Introduzca datos en Amazon S3 mediante formatos de partición de año, mes, día y hora para acelerar las consultas.
-
Utilice límites en sus consultas para asegurarse de no recuperar demasiados datos.
-
Utilice Index State Management (cuando proceda) para mantener el almacenamiento de las vistas materializadas y los índices de cobertura.
-
Elimine los trabajos e índices de aceleración cuando ya no los necesite.
-
Al crear índices de saltos, utilice filtros de floración para obtener una cardinalidad alta y valores mínima/máxima para rangos amplios. Se recomienda utilizar el valor establecido en un campo de cardinalidad alta.
-
Utilice las guías de referencia para exportar datos a Amazon S3. Puede usar AWS registros como CloudFrontCloudTrail, y Elastic Load Balancing.
Cuotas
Su cuenta tiene las siguientes cuotas relacionadas con las consultas directas del OpenSearch servicio con Amazon S3. Cada vez que inicia una consulta, OpenSearch Service abre una sesión y la mantiene activa durante al menos diez minutos. Esto reduce la latencia de las consultas al eliminar el tiempo de inicio de la sesión en las consultas posteriores.
| Descripción | Máximo | Se puede anular |
|---|---|---|
| Conexiones por dominio | 10 | Sí |
| Origen de datos por dominio | 20 | Sí |
| Índices por dominio | 5 | Sí |
| Sesiones simultáneas por origen de datos | 10 | Sí |
| OCU máxima por consulta | 60 | Sí |
| Tiempo máximo de ejecución de la consulta (minutos) | 30 | Sí |
| Número máximo de OCU por aceleración | 20 | Sí |
| Almacenamiento efímero máximo | 20 | Sí |
Regiones admitidas
Las siguientes regiones están disponibles para consultas directas del OpenSearch servicio con Amazon S3: Asia Pacífico (Hong Kong), Asia Pacífico (Bombay), Asia Pacífico (Seúl), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio), Canadá (Central), Europa (Fráncfort), Europa (Irlanda), Europa (Estocolmo), EE. UU. Este (Norte de Virginia), EE. UU. Este (Ohio) y EE.UU. Oeste (Oregón).
