Configurazione dei log di Amazon ECS per un throughput elevato

Per scenari ad alta velocità di log, consigliamo di utilizzare il driver di log con e. awsfirelens FireLens Fluent Bit Fluent Bitè un processore di log leggero, efficiente in termini di risorse e in grado di gestire milioni di record di log. Tuttavia, per ottenere prestazioni ottimali su larga scala è necessario ottimizzarne la configurazione.

Questa sezione illustra le tecniche di Fluent Bit ottimizzazione avanzate per gestire un elevato throughput di log mantenendo la stabilità del sistema e garantendo l'assenza di perdite di dati.

Per informazioni su come utilizzare i file di configurazione personalizzati con FireLens, vedereUtilizzo di un file di configurazione personalizzato. Per ulteriori esempi, consulta gli FireLens esempi di Amazon ECS su GitHub.

Comprensione dei blocchi

Fluent Bitelabora i dati in unità chiamate blocchi. Quando un plugin INPUT riceve dati, il motore crea un blocco che viene archiviato in memoria o nel filesystem prima di essere inviato alle destinazioni OUTPUT.

Il comportamento di buffering dipende dall'storage.typeimpostazione nelle sezioni INPUT. Per impostazione predefinita, Fluent Bit utilizza il buffering della memoria. Per scenari di produzione o ad alta produttività, il buffering del file system offre una migliore resilienza.

Per ulteriori informazioni, consulta Chunks nella documentazione e What is a Chunk? Fluent Bit https://github.com/aws-samples/amazon-ecs-firelens-examples/tree/mainline/examples/fluent-bit/oomkill-prevention#what-is-a-chunknel repository AWS for examplesFluent Bit.

Buffering della memoria (impostazione predefinita)

Per impostazione predefinita, Fluent Bit utilizza il buffering di memoria ()storage.type memory. È possibile limitare l'utilizzo della memoria per plug-in INPUT utilizzando il Mem_Buf_Limit parametro.

L'esempio seguente mostra una configurazione di input con buffer di memoria:

[INPUT]
    Name          tcp
    Tag           ApplicationLogs
    Port          5170
    storage.type  memory
    Mem_Buf_Limit 5MB

[input] tcp.1 paused (mem buf overlimit)

Il buffering della memoria è adatto per casi d'uso semplici con un throughput di log da basso a moderato. Per scenari di produzione o ad alto rendimento in cui la perdita di dati è un problema, utilizzate invece il buffering del file system.

Per ulteriori informazioni, vedere Buffering and Memory nella Fluent Bit documentazione e Memory Buffering Only nel repository for examples. AWS Fluent Bit

Buffering del file system

Per scenari ad alto rendimento, consigliamo di utilizzare il buffering del file system. Per ulteriori informazioni su come Fluent Bit gestire il buffering e l'archiviazione, consulta Buffering and Storage nella documentazione. Fluent Bit

Il buffering del file system offre i seguenti vantaggi:

Per abilitare il buffering del file system, fornisci un file di configurazione personalizzato. Fluent Bit L'esempio seguente mostra la configurazione consigliata:

[SERVICE]
    # Flush logs every 1 second
    Flush 1
    # Wait 120 seconds during shutdown to flush remaining logs
    Grace 120
    # Directory for filesystem buffering
    storage.path             /var/log/flb-storage/
    # Limit chunks stored 'up' in memory (reduce for memory-constrained environments)
    storage.max_chunks_up    32
    # Flush backlog chunks to destinations during shutdown (prevents log loss)
    storage.backlog.flush_on_shutdown On

[INPUT]
    Name forward
    unix_path /var/run/fluent.sock
    # Run input in separate thread to prevent blocking
    threaded true
    # Enable filesystem buffering for persistence
    storage.type filesystem

[OUTPUT]
    Name cloudwatch_logs
    Match *
    region us-west-2
    log_group_name /aws/ecs/my-app
    log_stream_name $(ecs_task_id)
    # Use multiple workers for parallel processing
    workers 2
    # Retry failed flushes up to 15 times
    retry_limit 15
    # Maximum disk space for buffered data for this output
    storage.total_limit_size 10G

Parametri di configurazione chiave:

Per ulteriori informazioni, vedere Filesystem Buffering nella Fluent Bit documentazione e Filesystem and Memory Buffering nel repository for examples. AWS Fluent Bit

Informazioni su storage.total_limit_size

Il storage.total_limit_size parametro di ogni plug-in OUTPUT controlla lo spazio su disco massimo per i dati memorizzati nel buffer per quell'output. Quando viene raggiunto questo limite, i record più vecchi relativi a quell'output vengono eliminati per fare spazio a nuovi dati. Quando lo spazio su disco è completamente esaurito, i record Fluent Bit non vengono messi in coda e questi vengono persi.

Utilizzate la seguente formula per calcolare il valore appropriato in storage.total_limit_size base alla frequenza di registrazione e alla finestra di ripristino desiderata:

If log rate is in KB/s, convert to MB/s first:
log_rate (MB/s) = log_rate (KB/s) / 1000

storage.total_limit_size (GB) = log_rate (MB/s) × duration (hours) × 3600 (seconds/hour) / 1000 (MB to GB)

La tabella seguente mostra esempi di calcolo per le frequenze di registro e le finestre di ripristino comuni:

Per osservare il picco di produttività e scegliere le dimensioni appropriate del buffer, utilizzate il campione di misurazione della produttività. FireLens

Usa la formula, gli esempi di calcolo e il benchmarking per scegliere una soluzione adatta storage.total_limit_size che fornisca la pista per il ripristino al meglio durante un'interruzione.

Requisiti di archiviazione delle attività di Amazon ECS

Somma tutti i storage.total_limit_size valori nelle sezioni OUTPUT e aggiungi un buffer per il sovraccarico. Questo totale determina lo spazio di archiviazione necessario nella definizione delle attività di Amazon ECS. Ad esempio, sono necessari 3 uscite × 10 GB ciascuna = 30 GB + buffer (5-10 GB) = 35-40 GB in totale. Se il totale supera lo spazio di archiviazione disponibile, Fluent Bit potrebbe non riuscire a mettere in coda i record e questi andranno persi.

Sono disponibili le seguenti opzioni di archiviazione:

Per ulteriori informazioni sui volumi di dati, vedereOpzioni di archiviazione per le attività di Amazon ECS.

Ottimizza la configurazione dell'output

Problemi di rete, interruzioni del servizio e limitazione delle destinazioni possono impedire la consegna dei log. Una corretta configurazione di output garantisce la resilienza senza perdita di dati.

Quando uno svuotamento dell'uscita fallisce, Fluent Bit può riprovare l'operazione. I seguenti parametri controllano il comportamento dei tentativi:

Il tempo di attesa tra i tentativi utilizza il backoff esponenziale con jitter:

wait_time = random(base, min(base × 2^retry_number, cap))

Ad esempio, con e: scheduler.base 10 scheduler.cap 60

Per ulteriori informazioni, consulta Configurazione del tempo di attesa per il nuovo tentativo e Connessione in rete nella documentazione. Fluent Bit

Il Grace parametro nella [SERVICE] sezione imposta il tempo di Fluent Bit attesa durante l'arresto per cancellare i dati memorizzati nel buffer. Il Grace periodo deve essere coordinato con quello del contenitore. stopTimeout Accertarsi che stopTimeout superi il Grace periodo previsto Fluent Bit per consentire il completo risciacquo prima della ricezione. SIGKILL Ad esempio, se Grace è 120 secondi, impostato su stopTimeout 150 secondi.

L'esempio seguente mostra una Fluent Bit configurazione completa con tutte le impostazioni consigliate per gli scenari ad alta produttività:

[SERVICE]
    # Flush logs every 1 second
    Flush 1
    # Wait 120 seconds during shutdown to flush remaining logs
    Grace 120
    # Directory for filesystem buffering
    storage.path             /var/log/flb-storage/
    # Limit chunks stored 'up' in memory (reduce for memory-constrained environments)
    storage.max_chunks_up    32
    # Flush backlog chunks to destinations during shutdown (prevents log loss)
    storage.backlog.flush_on_shutdown On
    # Minimum seconds between retries
    scheduler.base           10
    # Maximum seconds between retries (exponential backoff cap)
    scheduler.cap            60

[INPUT]
    Name forward
    unix_path /var/run/fluent.sock
    # Run input in separate thread to prevent blocking
    threaded true
    # Enable filesystem buffering for persistence
    storage.type filesystem

[OUTPUT]
    Name cloudwatch_logs
    Match *
    region us-west-2
    log_group_name /aws/ecs/my-app
    log_stream_name $(ecs_task_id)
    # Use multiple workers for parallel processing
    workers 2
    # Retry failed flushes up to 15 times
    retry_limit 15
    # Maximum disk space for buffered data for this output
    storage.total_limit_size 10G

Comprensione degli scenari di perdita di dati

I record possono andare persi in caso di interruzioni prolungate o problemi con le destinazioni di output. I consigli di configurazione contenuti in questa guida rappresentano gli approcci più efficaci per ridurre al minimo la perdita di dati, ma non possono garantire l'azzeramento delle perdite in caso di guasti prolungati. La comprensione di questi scenari ti aiuta a configurare Fluent Bit per massimizzare la resilienza.

I record possono essere persi in due modi: i record più vecchi vengono eliminati quando lo spazio di archiviazione si esaurisce, oppure i record più recenti vengono rifiutati quando il sistema non può accettare più dati.

I record più vecchi vengono eliminati

I record memorizzati nel buffer più vecchi vengono eliminati quando i tentativi di nuovo tentativo sono esauriti o quando si storage.total_limit_size riempiono ed è necessario fare spazio per nuovi dati.

Record più recenti rifiutati

I record più recenti vengono eliminati quando lo spazio su disco è esaurito o quando l'input viene sospeso a causa di. Mem_Buf_Limit

Le migliori pratiche per ridurre al minimo la perdita di dati

Prendi in considerazione le seguenti best practice per ridurre al minimo la perdita di dati:

Usa la registrazione multidestinazione per garantire l'affidabilità

L'invio di log a più destinazioni elimina singoli punti di errore. Ad esempio, se CloudWatch Logs subisce un'interruzione, i log raggiungono comunque Amazon S3.

Multi-destination la registrazione offre i seguenti vantaggi. Il plug-in di output di Amazon S3 supporta anche opzioni di compressione come gzip e il formato Parquet, che possono ridurre i costi di archiviazione. Per ulteriori informazioni, consulta la compressione S3 nella documentazione. Fluent Bit

Multi-destination la registrazione può offrire i seguenti vantaggi:

La seguente Fluent Bit configurazione invia i CloudWatch log sia a Logs che ad Amazon S3:

[OUTPUT]
    Name cloudwatch_logs
    Match *
    region us-west-2
    log_group_name /aws/ecs/my-app
    log_stream_name $(ecs_task_id)
    workers 2
    retry_limit 15

[OUTPUT]
    Name s3
    Match *
    bucket my-logs-bucket
    region us-west-2
    total_file_size 100M
    s3_key_format /fluent-bit-logs/$(ecs_task_id)/%Y%m%d/%H/%M/$UUID
    upload_timeout 10m
    # Maximum disk space for buffered data for this output
    storage.total_limit_size 5G

Entrambi gli output utilizzano lo stesso Match * modello, quindi tutti i record vengono inviati a entrambe le destinazioni in modo indipendente. In caso di interruzione di una destinazione, i log continuano a fluire verso l'altra mentre gli svuotamenti non riusciti si accumulano nel buffer del filesystem per riprovarli in un secondo momento.

Usa la registrazione basata su file con il plugin tail input

Per gli scenari ad alto rendimento in cui la perdita dei log è un problema critico, puoi utilizzare un approccio alternativo: chiedi all'applicazione di scrivere i log sui file su disco e configurarli Fluent Bit per leggerli utilizzando il plug-in di input. tail Questo approccio ignora completamente il livello del driver di registrazione Docker.

File-based la registrazione con il plugin tail offre i seguenti vantaggi:

Per utilizzare questo approccio, l'applicazione deve scrivere i log nei file anziché. stdout Sia il contenitore dell'applicazione che il Fluent Bit contenitore montano un volume condiviso in cui vengono archiviati i file di registro.

L'esempio seguente mostra una configurazione di input di coda con le migliori pratiche:

[INPUT]
    Name tail
    # File path or glob pattern to tail
    Path /var/log/app.log
    # Database file for storing file offsets (enables resuming after restart)
    DB /var/log/flb_tail.db
    # when true, controls that only fluent-bit will access the database (improves performance)
    DB.locking true
    # Skip long lines instead of skipping the entire file
    Skip_Long_Lines On
    # How often (in seconds) to check for new files matching the glob pattern
    Refresh_Interval 10
    # Extra seconds to monitor a file after rotation to account for pending flush
    Rotate_Wait 30
    # Maximum size of the buffer for a single line
    Buffer_Max_Size 10MB
    # Initial allocation size for reading file data
    Buffer_Chunk_Size 1MB
    # Maximum memory buffer size (tail pauses when full)
    Mem_Buf_Limit 75MB

Quando usate il plugin tail input, considerate quanto segue:

Per maggiori informazioni, vedi Tail nella Fluent Bit documentazione. Per le migliori pratiche, consulta la configurazione di Tail con le migliori pratiche nella Fluent Bit guida AWS alla risoluzione dei problemi.

Accedi direttamente a FireLens

Quando il driver di log awsfirelens è specificato in una definizione di attività, l'agente Amazon ECS inserisce le seguenti variabili di ambiente nel container:

È possibile utilizzare queste variabili di ambiente per accedere direttamente al router di Fluent Bit log dal codice dell'applicazione utilizzando il protocollo Fluent Forward, anziché scriverlo. stdout Questo approccio ignora il livello del driver di registrazione Docker, che offre i seguenti vantaggi:

Le seguenti librerie di logger Fluent supportano il protocollo Fluent Forward e possono essere utilizzate per inviare i log direttamente a: Fluent Bit

Configura il limite del buffer Docker

Quando si crea una definizione di attività, è possibile specificare il numero di righe di log che vengono memorizzate nel buffer specificando il valore in. log-driver-buffer-limit Questo controlla il buffer tra Docker e. Fluent Bit Per ulteriori informazioni, consulta la pagina Driver di registro di Fluentd nella documentazione Docker.

Utilizza questa opzione in caso di velocità di trasmissione effettiva elevata, perché Docker potrebbe esaurire la memoria buffer e scartare i messaggi buffer in modo da poter aggiungere nuovi messaggi.

Considera quanto segue quando usi questa opzione:

La seguente definizione di attività mostra come configurare: log-driver-buffer-limit

{
    "containerDefinitions": [
        {
            "name": "my_service_log_router",
            "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:3",
            "cpu": 0,
            "memoryReservation": 51,
            "essential": true,
            "firelensConfiguration": {
                "type": "fluentbit"
            }
        },
        {
            "essential": true,
            "image": "public.ecr.aws/docker/library/httpd:latest",
            "name": "app",
            "logConfiguration": {
                "logDriver": "awsfirelens",
                "options": {
                    "Name": "firehose",
                    "region": "us-west-2",
                    "delivery_stream": "my-stream",
                    "log-driver-buffer-limit": "52428800"
                }
            },
            "dependsOn": [
                {
                    "containerName": "my_service_log_router",
                    "condition": "START"
                }
            ],
            "memoryReservation": 100
        }
    ]
}