As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Trabalhando com consultas diretas do Amazon OpenSearch Service
Você pode usar a consulta direta do Amazon OpenSearch Service para analisar dados no Amazon CloudWatch Logs, no Amazon S3 e no Amazon Security Lake. OpenSearch O serviço fornece uma integração sem ETL como forma de analisar seus dados de log usando OpenSearch SQL ou OpenSearch Piped Processing Language (PPL) sem incorrer no atrito de criar pipelines de ingestão ou alternar entre ferramentas de análise. Essa abordagem elimina a necessidade de movimentação ou duplicação de dados, permitindo que você analise seus dados onde estão usando OpenSearch o Discover. Quando quiser mudar da consulta de dados em repouso para o monitoramento ativo com painéis ou alertas, você pode criar visualizações indexadas dos dados e inseri-los em um índice de serviços. OpenSearch
Para começar, você configura uma fonte de dados no console OpenSearch de serviço. Para o Amazon S3, você usa as conexões do domínio, enquanto para CloudWatch Logs e Security Lake, você usa fontes de dados conectadas em Gerenciamento Central no console. Tanto o Amazon S3 quanto o Security Lake usam tabelas AWS Glue Data Catalog para representar sua estrutura de dados, incluindo esquema, tipo de arquivo e particionamento. Para o Amazon S3, você cria essas tabelas no OpenSearch Query Workbench usando instruções SQL CREATE TABLE. Para o Amazon Security Lake, as tabelas já AWS Glue estão configuradas durante o processo de configuração do Security Lake. CloudWatch Da mesma forma, o Logs tem grupos de registros pré-configurados.
Depois de configurar sua fonte de dados, você faz login no Discover, onde pode selecionar sua fonte de dados e escolher as tabelas relevantes (para Amazon S3 e Security Lake) ou grupos de log (para CloudWatch Logs). A partir daí, você pode começar a consultar seus dados diretamente.
Para usar os recursos avançados de análise do OpenSearch Service para monitoramento de dados, como a criação de painéis e a pesquisa de texto completo, você ingere dados da sua fonte de dados de consulta direta criando uma visualização indexada dos dados. Você pode criar visualizações indexadas usando técnicas comuns de indexação SQL, como ignorar índices, visualizações materializadas e índices de cobertura (quando houver suporte). Para ajudar você a começar a criar painéis rapidamente, você pode usar modelos pré-criados para tipos de registros comuns, como registros de fluxo de VPC, registros e AWS CloudTrail registros. AWS WAF
Cotas de consulta direta
Sua conta tem as seguintes cotas relacionadas às consultas diretas do OpenSearch Serviço.
Cotas para o Amazon S3
Cada vez que você inicia uma consulta em uma fonte de dados do Amazon S3 OpenSearch , o Service abre uma sessão e a mantém ativa por pelo menos três minutos. Isso reduz a latência da consulta ao remover o tempo de inicialização da sessão nas consultas subsequentes.
Descrição | Máximo | Pode substituir |
---|---|---|
Conexões por domínio | 10 | Sim |
Fontes de dados por domínio | 20 | Sim |
Índices por domínio | 5 | Sim |
Sessões simultâneas por fonte de dados | 10 | Sim |
Máximo de OCU por consulta | 60 | Sim |
Tempo máximo de execução da consulta (minutos) | 30 | Sim |
Máximo OCUs por aceleração | 20 | Sim |
Armazenamento temporário máximo | 20 | Sim |
Cotas para registros CloudWatch
nota
Se você deseja realizar consultas diretas usando o CloudWatch Logs Insights, consulte. Informações adicionais para usuários do CloudWatch Logs Insights que usam OpenSearch SQL
Descrição | Valor | Limite flexível? | Observações |
---|---|---|---|
Limite de TPS em nível de conta em consultas diretas APIs | 3 TPS | Sim | |
Número máximo de fontes de dados | 20 | Sim | O limite é por Conta da AWS. |
Máximo de índices de atualização automática ou visualizações materializadas | 30 | Sim | O limite é por fonte de dados. |
Máximo de consultas simultâneas | 15 | Sim |
O limite se aplica a consultas em estado pendente ou em execução. Inclui consultas interativas (por exemplo, comandos de recuperação de dados como |
Máximo de OCU simultâneo por consulta | 512 | Sim |
OpenSearch Unidades de computação (OCU). Limite baseado em 15 executores e 1 driver, cada um com 16 vCPU e 32 GB de memória. Representa o poder de processamento simultâneo. |
Tempo máximo de execução da consulta em minutos | 60 | Não | O limite se aplica às consultas OpenSearch PPL/SQL no Logs Insights. CloudWatch |
Período para limpar a consulta obsoleta IDs | 90 dias | Sim | Esse é o período após o qual o OpenSearch Serviço limpa os metadados da consulta de entradas mais antigas. Por exemplo, ligar GetDirectQuery ou GetDirectQueryResult falhar em consultas com mais de 90 dias. |
Cotas para Security Lake
Descrição | Valor | Limite flexível? | Observações |
---|---|---|---|
Limite de TPS em nível de conta em consultas diretas APIs | 3 TPS | Sim | |
Número máximo de fontes de dados | 20 | Sim | O limite é por Conta da AWS. |
Máximo de índices de atualização automática ou visualizações materializadas | 30 | Sim |
O limite se aplica por fonte de dados. Inclui apenas índices e visualizações materializadas (MVs) com atualização automática definida como verdadeira. |
Máximo de consultas simultâneas | 30 | Sim |
O limite se aplica a consultas em estado pendente ou em execução. Inclui consultas interativas (por exemplo, comandos de recuperação de dados como |
Máximo de OCU simultâneo por consulta | 512 | Sim |
OpenSearch Unidades de computação (OCU). Limite baseado em 15 executores e 1 driver, cada um com 16 vCPU e 32 GB de memória. Representa o poder de processamento simultâneo. |
Tempo máximo de execução da consulta em minutos | 30 | Não | Aplica-se somente a consultas interativas (por exemplo, comandos de recuperação de dados comoSELECT ). Para REFRESH consultas, o limite é de 6 horas. |
Período para limpar a consulta obsoleta IDs | 90 dias | Sim |
Esse é o período após o qual o OpenSearch Serviço limpa os metadados da consulta de entradas mais antigas. Por exemplo, ligar GetDirectQuery ou GetDirectQueryResult falhar em consultas com mais de 90 dias. |
Suportado Regiões da AWS
O seguinte Regiões da AWS é compatível com consultas diretas de OpenSearch serviço no Amazon S3 CloudWatch , Logs e Security Lake:
Disponível Regiões da AWS para Amazon S3
-
Ásia-Pacífico (Hong Kong)
-
Ásia-Pacífico (Mumbai)
-
Ásia-Pacífico (Seul)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Estocolmo)
-
Leste dos EUA (Norte da Virgínia)
-
Leste dos EUA (Ohio)
-
Oeste dos EUA (Oregon)
Disponível Regiões da AWS para CloudWatch registros
-
Ásia-Pacífico (Mumbai)
-
Ásia-Pacífico (Hong Kong)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Estocolmo)
-
Leste dos EUA (Norte da Virgínia)
-
Leste dos EUA (Ohio)
-
Oeste dos EUA (Oregon)
-
Europa (Paris)
-
Europa (Londres)
-
América do Sul (São Paulo)
Disponível Regiões da AWS para Security Lake
-
Ásia-Pacífico (Mumbai)
-
Ásia-Pacífico (Singapura)
-
Ásia-Pacífico (Sydney)
-
Ásia-Pacífico (Tóquio)
-
Canadá (Central)
-
Europa (Frankfurt)
-
Europa (Irlanda)
-
Europa (Estocolmo)
-
Leste dos EUA (Norte da Virgínia)
-
Leste dos EUA (Ohio)
-
Oeste dos EUA (Oregon)
-
Europa (Paris)
-
Europa (Londres)
-
América do Sul (São Paulo)