Inicio del registro de AWS Fargate para un clúster

Configurar el enrutador de registros

En los pasos siguientes, reemplace cada example value por valores propios.

1. Cree un espacio de nombres Kubernetes dedicado denominado aws-observability.

   1. Guarde el siguiente contenido en un archivo llamado aws-observability-namespace.yaml en el equipo. El valor de name debe ser aws-observability y la etiqueta aws-observability: enabled es obligatoria.

      kind: Namespace
      apiVersion: v1
      metadata:
        name: aws-observability
        labels:
          aws-observability: enabled

   2. Cree el espacio de nombres.

      kubectl apply -f aws-observability-namespace.yaml
      

2. Cree un ConfigMap con un valor de datos de Fluent Conf para enviar los registros de contenedores a un destino.. Fluent Conf es Fluent Bit, que es un lenguaje de configuración del procesador de registros rápido y ligero que se utiliza para dirigir los registros del contenedor a un destino de registro de su elección. Para obtener más información, consulte Archivo de configuración en la documentación de Fluent Bit.

   importante

   En un Fluent Conf típico, las secciones principales incluidas son Service, Input, Filter y Output. Sin embargo, el enrutador de registros de Fargate solo acepta:

   • Las secciones Filter y Output.

   • Una sección Parser.

   Si proporciona otras secciones, se rechazarán.

   El enrutador de registros de Fargate administra las secciones Service e Input. Tiene la siguiente sección Input, la cual no se puede modificar y no es necesaria en su ConfigMap. Sin embargo, puede obtener información a partir de ella, como el límite del búfer de memoria y la etiqueta aplicada a los registros.

   [INPUT]
       Name tail
       Buffer_Max_Size 66KB
       DB /var/log/flb_kube.db
       Mem_Buf_Limit 45MB
       Path /var/log/containers/*.log
       Read_From_Head On
       Refresh_Interval 10
       Rotate_Wait 30
       Skip_Long_Lines On
       Tag kube.*

   Al crear el ConfigMap, debe tener en cuenta las siguientes reglas que Fargate utiliza para validar campos:

   • Se supone que [FILTER], [OUTPUT] y [PARSER] deben especificarse en cada clave correspondiente. Por ejemplo, [FILTER] debe estar en filters.conf. Puede tener uno o más [FILTER] en filters.conf. Las secciones [OUTPUT] y [PARSER] también deben estar en sus claves correspondientes. Mediante la especificación de varias secciones [OUTPUT], puede dirigir sus registros a diferentes destinos al mismo tiempo.

   • Fargate valida las claves requeridas para cada sección. Name y match son necesarias para cada [FILTER] y [OUTPUT]. Name y format son necesarias para cada [PARSER]. Las claves distinguen entre mayúsculas y minúsculas.

   • Las variables de entorno como ${ENV_VAR} no se permiten en ConfigMap.

   • La sangría tiene que ser la misma para la política o el par clave-valor dentro de cada filters.conf, output.conf y parsers.conf. Los pares clave-valor deben tener más sangría que las políticas.

   • Fargate valida con los siguientes filtros compatibles: grep, parser, record_modifier, rewrite_tag, throttle, nest, modify y kubernetes.

   • Fargate verifica las siguientes salidas compatibles: es, firehose, kinesis_firehose, cloudwatch, cloudwatch_logs y kinesis.

   • Tiene que proporcionarse al menos un complemento de Output compatible en el ConfigMap a fin de habilitar el registro. Filter y Parser no son necesarios para habilitar el registro.

   También puede ejecutar Fluent Bit en Amazon EC2 con la configuración deseada para solucionar cualquier problema que surja de la validación. Cree su ConfigMap con uno de los siguientes ejemplos.

   importante

   El registro de Fargate de Amazon EKS no admite la configuración dinámica del ConfigMaps. Cualquier cambio en ConfigMaps solo se aplica a los Pods nuevos. Los cambios no se aplican a los Pods existentes.

   Cree un ConfigMap con el ejemplo para el destino de registro deseado.

   nota

   También puede utilizar Amazon Kinesis Data Streams como destino para su registro. Si usa Kinesis Data Streams, asegúrese de que la función de ejecución del pod tenga otorgado el permiso kinesis:PutRecords. Para obtener más información, consulte Permisos de Amazon Kinesis Data Streams en Fluent Bit: Manual oficial.

   CloudWatch

   Para crear un ConfigMap para CloudWatch

   Tiene dos opciones de salida al utilizar CloudWatch:

   • Un complemento de salida escrito en C

   • Un complemento de salida escrito en Golang

   En el siguiente ejemplo se muestra cómo utilizar el complemento de cloudwatch_logs para enviar registros a CloudWatch.

   1. Guarde los siguientes contenidos en un archivo llamado aws-logging-cloudwatch-configmap.yaml. Reemplace region-code por la Región de AWS en la que se encuentra el clúster. Se requieren los parámetros en [OUTPUT].

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        flb_log_cw: "false"  # Set to true to ship Fluent Bit process logs to CloudWatch.
        filters.conf: |
          [FILTER]
              Name parser
              Match *
              Key_name log
              Parser crio
          [FILTER]
              Name kubernetes
              Match kube.*
              Merge_Log On
              Keep_Log Off
              Buffer_Size 0
              Kube_Meta_Cache_TTL 300s
        output.conf: |
          [OUTPUT]
              Name cloudwatch_logs
              Match   kube.*
              region region-code
              log_group_name my-logs
              log_stream_prefix from-fluent-bit-
              log_retention_days 60
              auto_create_group true
        parsers.conf: |
          [PARSER]
              Name crio
              Format Regex
              Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
              Time_Key    time
              Time_Format %Y-%m-%dT%H:%M:%S.%L%z

   2. Aplique el manifiesto al clúster.

      kubectl apply -f aws-logging-cloudwatch-configmap.yaml
      

   3. Descargue la política de IAM de CloudWatch en su equipo. También puede ver la política en GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/cloudwatchlogs/permissions.json
      

   Amazon OpenSearch Service

   Para crear un ConfigMap de Amazon OpenSearch Service

   Si desea enviar registros a Amazon OpenSearch Service, puede utilizar salida es, que es un complemento escrito en C. En el siguiente ejemplo se muestra cómo utilizar el complemento para enviar registros a OpenSearch.

   1. Guarde los siguientes contenidos en un archivo llamado aws-logging-opensearch-configmap.yaml. Sustituya cada example value con valores propios.

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        output.conf: |
          [OUTPUT]
            Name  es
            Match *
            Host  search-example-gjxdcilagiprbglqn42jsty66y.region-code.es.amazonaws.com
            Port  443
            Index example
            Type  example_type
            AWS_Auth On
            AWS_Region region-code
            tls   On

   2. Aplique el manifiesto al clúster.

      kubectl apply -f aws-logging-opensearch-configmap.yaml
      

   3. Descargue la política de IAM de OpenSearch en su ordenador. También puede ver la política en GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/amazon-elasticsearch/permissions.json
      

      Asegúrese de que el control de acceso de OpenSearch Dashboards esté configurado correctamente. El all_access role en OpenSearch Dashboards debe tener el rol de ejecución de Pod de Fargate y el rol de IAM asignados. Se debe hacer el mismo mapeo para el rol de security_manager. Puede agregar los mapeos anteriores al seleccionar Menu, Security y Roles y, a continuación, seleccionar los roles respectivos. Para obtener más información, consulte ¿Cómo puedo solucionar los problemas de CloudWatch Logs para que transmita a mi dominio de Amazon ES?.

   Firehose

   Para crear una ConfigMap para Firehose

   Tiene dos opciones de salida al enviar registros a Firehose:

   • kinesis_firehose: un complemento de salida escrito en C.

   • firehose: un complemento de salida escrito en Golang.

   En el siguiente ejemplo se muestra cómo utilizar el complemento de kinesis_firehose para enviar registros a Firehose.

   1. Guarde los siguientes contenidos en un archivo llamado aws-logging-firehose-configmap.yaml. Reemplace region-code por la Región de AWS en la que se encuentra el clúster.

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        output.conf: |
          [OUTPUT]
           Name  kinesis_firehose
           Match *
           region region-code
           delivery_stream my-stream-firehose

   2. Aplique el manifiesto al clúster.

      kubectl apply -f aws-logging-firehose-configmap.yaml
      

   3. Descargue la política de IAM de Firehose en su ordenador. También puede ver la política en GitHub.

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/kinesis-firehose/permissions.json
      

3. Cree una política de IAM a partir del archivo de política que descargó en el paso anterior.

   aws iam create-policy --policy-name eks-fargate-logging-policy --policy-document file://permissions.json
   

4. Adjunte la política de IAM al rol de ejecución de pods especificado para el perfil de Fargate con el siguiente comando. Reemplace 111122223333 por su ID de cuenta. Reemplace AmazonEKSFargatePodExecutionRole por el rol de ejecución de Pod (para obtener más información, consulte Paso 2: cree un rol de ejecución de Pod de Fargate).

   aws iam attach-role-policy \
     --policy-arn arn:aws:iam::111122223333:policy/eks-fargate-logging-policy \
     --role-name AmazonEKSFargatePodExecutionRole
   

1. Busque el grupo de registros de CloudWatch creado automáticamente para los registros de procesos de Fluent Bit del clúster de Amazon EKS después de habilitar el registro de Fargate. Sigue el formato {cluster_name}-fluent-bit-logs.

2. Elimine los flujos de registro de CloudWatch existentes creados para los registros de procesos de cada Pod's en el grupo de registros de CloudWatch.

3. Edite el ConfigMap y configure flb_log_cw: "false".

4. Reinicie todos los Pods existentes en el clúster.

1. Implemente un Pod de ejemplo.

   1. Guarde el siguiente contenido en un archivo llamado sample-app.yaml en el equipo.

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: sample-app
        namespace: same-namespace-as-your-fargate-profile
      spec:
        replicas: 3
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
              - name: nginx
                image: nginx:latest
                ports:
                  - name: http
                    containerPort: 80

   2. Aplique el manifiesto al clúster.

      kubectl apply -f sample-app.yaml
      

2. Vea los registros NGINX con los destinos que configuró en el ConfigMap.