As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Escalabilidade de pipelines no Amazon Ingestion OpenSearch
OpenSearch A ingestão dimensiona automaticamente a capacidade do pipeline com base nas unidades de OpenSearch computação de ingestão (OCUs de ingestão) mínimas e máximas especificadas. Isso elimina a necessidade de provisionamento e gerenciamento manuais.
Cada OCU de ingestão é uma combinação de aproximadamente 15 GiB de memória e 2 vCPUs. Você pode especificar os valores mínimo e máximo de OCU para um pipeline, e o OpenSearch Ingestion dimensiona automaticamente a capacidade do pipeline com base nesses limites.
Você especifica os seguintes valores criar um pipeline:
-
Capacidade mínima: o pipeline pode reduzir a capacidade até esse número de OCUs de ingestão. A capacidade mínima especificada também é a capacidade inicial de uma pipeline.
-
Capacidade máxima: o pipeline pode aumentar a capacidade até esse número de OCUs de ingestão.
Assegure-se de garantir que a capacidade máxima do pipeline seja alta o suficiente para lidar com picos da workload, e a capacidade mínima seja baixa o suficiente para minimizar os custos quando o pipeline não estiver ocupado. Com base nas suas configurações, o OpenSearch Ingestion dimensiona automaticamente o número de OCUs de ingestão do seu funil para processar a carga de trabalho de ingestão. A qualquer momento específico, você será cobrado apenas pelas OCUs de ingestão que estão sendo usadas ativamente pelo seu pipeline.
A capacidade alocada ao seu pipeline de OpenSearch ingestão aumenta e diminui com base nos requisitos de processamento do seu pipeline e na carga gerada pelo aplicativo cliente. Quando a capacidade é restrita, o OpenSearch Ingestion aumenta com a alocação de mais unidades computacionais (GiB de memória). Quando seu pipeline está processando cargas de trabalho menores ou não processando nenhum dado, ele pode reduzir a escala verticalmente até as OCUs de ingestão mínimas configuradas.
nota
OpenSearch Os pipelines de ingestão processam no máximo 150 fragmentos por OCU de ingestão. Se suas fontes de pipeline contiverem mais fragmentos do que esse limite permite para sua contagem de OCU configurada, considere aumentar a capacidade máxima de OCU ou reduzir o número de fragmentos em sua fonte.
Você pode especificar um mínimo de 1 OCU de ingestão, um máximo de 96 OCUs de ingestão para pipelines sem estado e um máximo de 48 OCUs de ingestão para pipelines com estado. Recomendamos um mínimo de pelo menos 2 OCUs de ingestão para fontes baseadas em push. Quando o buffer persistente está habilitado, é possível especificar no mínimo 2 e no máximo 384 OCUs de ingestão.
Com um pipeline de log padrão com uma única fonte, um padrão Grok simples e um coletor, cada unidade computacional pode suportar até 2 MiB por segundo. Para pipelines de log mais complexos com vários processadores, cada unidade computacional pode suportar menos carga de ingestão. Com base na capacidade do pipeline e na utilização de recursos, o processo de escalabilidade de OpenSearch ingestão é iniciado.
Para garantir a alta disponibilidade, as OCUs de ingestão são distribuídas entre zonas de disponibilidade (AZs). O número de AZs depende da capacidade mínima que você especificar.
Por exemplo, se você especificar um mínimo de 2 unidades de computação, as OCUs de ingestão que estão em uso a qualquer momento serão distribuídas uniformemente em 2 AZs. Se você especificar um mínimo de 3 ou mais unidades de computação, as OCUs de ingestão serão distribuídas uniformemente em 3 AZs. Recomendamos que você provisione pelo menos duas OCUs de ingestão para garantir 99,9% de disponibilidade para seus pipelines de ingestão.
Você não paga pelas OCUs de ingestão quando um pipeline está nos estados Create
failed, Creating, Deleting e Stopped.
Para obter instruções sobre como definir e recuperar as configurações de capacidade de um pipeline, consulte Como criar pipelines.
