Mulai AWS Fargate logging untuk klaster Anda

Untuk mengkonfigurasi router log

Pada langkah-langkah berikut, ganti masing-masing example value dengan nilai Anda sendiri.

1. Buat yang berdedikasi Kubernetes namespace bernama. aws-observability

   1. Simpan konten berikut ini ke file bernama aws-observability-namespace.yaml pada komputer Anda. Nilai untuk name harus aws-observability dan aws-observability: enabled label diperlukan.

      kind: Namespace
      apiVersion: v1
      metadata:
        name: aws-observability
        labels:
          aws-observability: enabled

   2. Buat namespace.

      kubectl apply -f aws-observability-namespace.yaml
      

2. Buat ConfigMap dengan nilai Fluent Conf data untuk mengirimkan log kontainer ke tujuan. Fasih Conf adalah Fluent Bit, yang merupakan bahasa konfigurasi prosesor log yang cepat dan ringan yang digunakan untuk merutekan log kontainer ke tujuan log pilihan Anda. Untuk informasi selengkapnya, lihat File Konfigurasi di Fluent Bit dokumentasi.

   penting

   Bagian utama yang termasuk dalam tipikal Fluent Conf adalahService,Input,Filter, danOutput. Namun, router log Fargate hanya menerima:

   • OutputBagian Filter dan.

   • Sebuah Parser bagian.

   Jika Anda memberikan bagian lain, mereka akan ditolak.

   Router log Fargate mengelola bagian Service danInput. Ini memiliki Input bagian berikut, yang tidak dapat dimodifikasi dan tidak diperlukan di AndaConfigMap. Namun, Anda bisa mendapatkan wawasan darinya, seperti batas buffer memori dan tag yang diterapkan untuk log.

   [INPUT]
       Name tail
       Buffer_Max_Size 66KB
       DB /var/log/flb_kube.db
       Mem_Buf_Limit 45MB
       Path /var/log/containers/*.log
       Read_From_Head On
       Refresh_Interval 10
       Rotate_Wait 30
       Skip_Long_Lines On
       Tag kube.*

   Saat membuatConfigMap, pertimbangkan aturan berikut yang digunakan Fargate untuk memvalidasi bidang:

   • [FILTER],[OUTPUT], dan seharusnya [PARSER] ditentukan di bawah setiap kunci yang sesuai. Contohnya, [FILTER] harus berada dalam filters.conf. Anda dapat memiliki satu atau lebih [FILTER] s di bawahfilters.conf. [PARSER]Bagian [OUTPUT] dan juga harus berada di bawah kunci yang sesuai. Dengan menentukan beberapa [OUTPUT] bagian, Anda dapat merutekan log Anda ke tujuan yang berbeda secara bersamaan.

   • Fargate memvalidasi kunci yang diperlukan untuk setiap bagian. Name dan match diperlukan untuk setiap [FILTER] dan [OUTPUT]. Name dan format diperlukan untuk setiap [PARSER]. Kunci peka terhadap huruf besar dan kecil.

   • Variabel lingkungan seperti ${ENV_VAR} tidak diizinkan diConfigMap.

   • Indentasi harus sama dengan arahan atau pasangan nilai kunci dalam setiap filters.conf, output.conf, dan parsers.conf. Pasangan nilai kunci yang harus menjorok lebih dari arahan.

   • Fargate memvalidasi terhadap filter yang didukung berikut:grep,,parser,,record_modifier, rewrite_tag throttlenest, modify dan. kubernetes

   • Fargate memvalidasi output yang didukung berikut: es, firehose, kinesis_firehose, cloudwatch, cloudwatch_logs, dan kinesis.

   • Setidaknya satu Output plugin yang didukung harus disediakan di ConfigMap untuk mengaktifkan logging. Filterdan Parser tidak diperlukan untuk mengaktifkan logging.

   Anda juga dapat menjalankan Fluent Bit di Amazon EC2 menggunakan konfigurasi yang diinginkan untuk memecahkan masalah apa pun yang timbul dari validasi. Buat Anda ConfigMap menggunakan salah satu contoh berikut.

   penting

   Pencatatan Amazon EKS Fargate tidak mendukung konfigurasi dinamis. ConfigMaps Setiap perubahan ConfigMaps diterapkan pada yang baru Pods hanya. Perubahan tidak diterapkan pada yang ada Pods.

   Buat ConfigMap menggunakan contoh untuk tujuan log yang Anda inginkan.

   catatan

   Anda juga dapat menggunakan Amazon Kinesis Data Streams untuk tujuan log Anda. Jika Anda menggunakan Kinesis Data Streams, pastikan bahwa peran eksekusi pod telah kinesis:PutRecords diberikan izin. Untuk informasi selengkapnya, lihat Izin Amazon Kinesis Data Streams di Fluent Bit: Manual Resmi.

   CloudWatch

   Untuk membuat ConfigMap untuk CloudWatch

   Anda memiliki dua opsi output saat menggunakan CloudWatch:

   • Plugin keluaran ditulis dalam C

   • Plugin keluaran yang ditulis dalam Golang

   Contoh berikut menunjukkan cara menggunakan cloudwatch_logs plugin untuk mengirim log ke CloudWatch.

   1. Simpan konten berikut ini ke file bernama aws-logging-cloudwatch-configmap.yaml. Ganti region-code dengan tempat Wilayah AWS cluster Anda berada. Parameter di bawah [OUTPUT] diperlukan.

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        flb_log_cw: "false"  # Set to true to ship Fluent Bit process logs to CloudWatch.
        filters.conf: |
          [FILTER]
              Name parser
              Match *
              Key_name log
              Parser crio
          [FILTER]
              Name kubernetes
              Match kube.*
              Merge_Log On
              Keep_Log Off
              Buffer_Size 0
              Kube_Meta_Cache_TTL 300s
        output.conf: |
          [OUTPUT]
              Name cloudwatch_logs
              Match   kube.*
              region region-code
              log_group_name my-logs
              log_stream_prefix from-fluent-bit-
              log_retention_days 60
              auto_create_group true
        parsers.conf: |
          [PARSER]
              Name crio
              Format Regex
              Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
              Time_Key    time
              Time_Format %Y-%m-%dT%H:%M:%S.%L%z

   2. Menerapkan manifes ke klaster Anda.

      kubectl apply -f aws-logging-cloudwatch-configmap.yaml
      

   3. Unduh CloudWatch IAM kebijakan ke komputer Anda. Anda juga dapat melihat kebijakan di GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/cloudwatchlogs/permissions.json
      

   Amazon OpenSearch Service

   Untuk membuat OpenSearch Layanan ConfigMap untuk Amazon

   Jika Anda ingin mengirim log ke Amazon OpenSearch Service, Anda dapat menggunakan es output, yang merupakan plugin yang ditulis C. Contoh berikut menunjukkan cara menggunakan plugin untuk mengirim log ke OpenSearch.

   1. Simpan konten berikut ini ke file bernama aws-logging-opensearch-configmap.yaml. Ganti setiap example value dengan nilai-nilai Anda sendiri.

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        output.conf: |
          [OUTPUT]
            Name  es
            Match *
            Host  search-example-gjxdcilagiprbglqn42jsty66y.region-code.es.amazonaws.com
            Port  443
            Index example
            Type  example_type
            AWS_Auth On
            AWS_Region region-code
            tls   On

   2. Menerapkan manifes ke klaster Anda.

      kubectl apply -f aws-logging-opensearch-configmap.yaml
      

   3. Unduh OpenSearch IAM kebijakan ke komputer Anda. Anda juga dapat melihat kebijakan di GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/amazon-elasticsearch/permissions.json
      

      Pastikan kontrol akses OpenSearch Dashboard dikonfigurasi dengan benar. OpenSearch Dasbor all_access role in harus memiliki Fargate Pod peran eksekusi dan IAM peran dipetakan. Pemetaan yang sama harus dilakukan untuk security_manager peran tersebut. Anda dapat menambahkan pemetaan sebelumnya dengan memilihMenu, kemudian, lalu SecurityRoles, dan kemudian memilih peran masing-masing. Untuk informasi selengkapnya, lihat Bagaimana cara memecahkan masalah CloudWatch Log sehingga dialirkan ke domain Amazon ES saya? .

   Firehose

   Untuk membuat ConfigMap untuk Firehose

   Anda memiliki dua opsi output saat mengirim log ke Firehose:

   • kinesis_firehose — Plugin output ditulis dalam C.

   • firehose — Plugin output ditulis dalam Golang.

   Contoh berikut menunjukkan cara menggunakan kinesis_firehose plugin untuk mengirim log ke Firehose.

   1. Simpan konten berikut ini ke file bernama aws-logging-firehose-configmap.yaml. Ganti region-code dengan tempat Wilayah AWS cluster Anda berada.

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        output.conf: |
          [OUTPUT]
           Name  kinesis_firehose
           Match *
           region region-code
           delivery_stream my-stream-firehose

   2. Menerapkan manifes ke klaster Anda.

      kubectl apply -f aws-logging-firehose-configmap.yaml
      

   3. Unduh IAM kebijakan Firehose ke komputer Anda. Anda juga dapat melihat kebijakan di GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/kinesis-firehose/permissions.json
      

3. Buat IAM kebijakan dari file kebijakan yang Anda unduh di langkah sebelumnya.

   aws iam create-policy --policy-name eks-fargate-logging-policy --policy-document file://permissions.json
   

4. Lampirkan IAM kebijakan ke peran eksekusi pod yang ditentukan untuk profil Fargate Anda dengan perintah berikut. Ganti 111122223333 dengan ID akun Anda. Ganti AmazonEKSFargatePodExecutionRole dengan Pod peran eksekusi (untuk informasi lebih lanjut, lihatLangkah 2: Buat Fargate Pod Peran eksekusi ).

   aws iam attach-role-policy \
     --policy-arn arn:aws:iam::111122223333:policy/eks-fargate-logging-policy \
     --role-name AmazonEKSFargatePodExecutionRole
   

1. Temukan grup CloudWatch log yang dibuat secara otomatis untuk EKS klaster Amazon Anda Fluent Bit memproses log setelah mengaktifkan logging Fargate. Ini mengikuti formatnya{cluster_name}-fluent-bit-logs.

2. Hapus aliran CloudWatch log yang ada yang dibuat untuk masing-masing Pod's memproses log di grup CloudWatch log.

3. Edit ConfigMap dan aturflb_log_cw: "false".

4. Mulai ulang apa pun yang ada Pods di cluster.

1. Menyebarkan sampel Pod.

   1. Simpan konten berikut ini ke file bernama sample-app.yaml pada komputer Anda.

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: sample-app
        namespace: same-namespace-as-your-fargate-profile
      spec:
        replicas: 3
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
              - name: nginx
                image: nginx:latest
                ports:
                  - name: http
                    containerPort: 80

   2. Menerapkan manifes ke klaster.

      kubectl apply -f sample-app.yaml
      

2. Lihat NGINX log menggunakan tujuan yang Anda konfigurasikan diConfigMap.