View a markdown version of this page

Scalabilità delle pipeline in Amazon Ingestion OpenSearch - OpenSearch Servizio Amazon

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Scalabilità delle pipeline in Amazon Ingestion OpenSearch

OpenSearch Ingestion ridimensiona automaticamente la capacità della pipeline in base alle unità di calcolo di ingestione (OCU di ingestione) minime e massime specificate. OpenSearch Ciò elimina la necessità di provisioning e gestione manuali.

Ogni Ingestion OCU è una combinazione di circa 15 GiB di memoria e 2 vCPU. È possibile specificare i valori OCU minimi e massimi per una pipeline e OpenSearch Ingestion ridimensiona automaticamente la capacità della pipeline in base a questi limiti.

Quando create una pipeline, specificate i seguenti valori:

  • Capacità minima: la pipeline può ridurre la capacità fino a questo numero di OCU di ingestione. La capacità minima specificata è anche la capacità iniziale di una pipeline.

  • Capacità massima: la pipeline può aumentare la capacità fino a questo numero di OCU di ingestione.

Dialogo di modifica della capacità che mostra la capacità minima impostata su 1 e la capacità massima impostata su 4. Ingestion-OCU

Assicuratevi che la capacità massima di una pipeline sia sufficientemente elevata da gestire i picchi di carico di lavoro e che la capacità minima sia sufficientemente bassa da minimizzare i costi quando la pipeline non è occupata. In base alle impostazioni, OpenSearch Ingestion ridimensiona automaticamente il numero di OCU di ingestione affinché la pipeline possa elaborare il carico di lavoro di ingestione. In qualsiasi momento specifico, ti verranno addebitati solo gli OCU di ingestione utilizzati attivamente dalla tua pipeline.

La capacità allocata alla pipeline di OpenSearch Ingestion aumenta e diminuisce in base ai requisiti di elaborazione della pipeline e al carico generato dall'applicazione client. Quando la capacità è limitata, OpenSearch Ingestion aumenta allocando più unità di calcolo (GiB di memoria). Quando la pipeline elabora carichi di lavoro più piccoli o non elabora affatto i dati, può essere ridotta fino alle OCU di Ingestion configurate minime.

Nota

OpenSearch Le pipeline di ingestione elaborano un massimo di 150 frammenti per OCU di ingestione. Se le sorgenti della pipeline contengono più frammenti di quanto consentito da questo limite per il numero di OCU configurato, valuta la possibilità di aumentare la capacità OCU massima o di ridurre il numero di frammenti nell'origine.

È possibile specificare un minimo di 1 OCU di ingestione, un massimo di 96 OCU di ingestione per le pipeline stateless e un massimo di 48 OCU di ingestione per le pipeline stateful. Consigliamo un minimo di almeno 2 OCU di Ingestion per le sorgenti basate su push. Quando il buffering persistente è abilitato, è possibile specificare un minimo di 2 e un massimo di 384 OCU di ingestione.

Con una pipeline di log standard con un'unica fonte, un semplice pattern grok e un sink, ogni unità di calcolo può supportare fino a 2 MiB al secondo. Per pipeline di log più complesse con più processori, ogni unità di calcolo potrebbe supportare un carico di acquisizione inferiore. In base alla capacità della pipeline e all'utilizzo delle risorse, inizia il processo di scalabilità dell' OpenSearch ingestione.

Per garantire un'elevata disponibilità, gli OCU di Ingestion sono distribuiti nelle zone di disponibilità (AZ). Il numero di AZ dipende dalla capacità minima specificata.

Ad esempio, se si specifica un minimo di 2 unità di calcolo, le OCU di Ingestion in uso in un dato momento vengono distribuite uniformemente su 2 AZ. Se si specifica un minimo di 3 o più unità di elaborazione, le OCU di Ingestion vengono distribuite uniformemente su 3 AZ. Si consiglia di effettuare il provisioning di almeno due OCU di Ingestion per garantire una disponibilità del 99,9% delle pipeline di ingestione.

Le OCU di Ingestion non ti verranno addebitate quando una pipeline si trova negli stati,, e. Create failed Creating Deleting Stopped

Per istruzioni sulla configurazione e il recupero delle impostazioni di capacità per una pipeline, consulta. Creazione di pipeline