Agente de Kinesis

Administre sus AWS credenciales mediante uno de los siguientes métodos:

Puede crear un proveedor de credenciales personalizado e indicar su nombre de clase y ruta de archivo jar al agente de Kinesis en las siguientes opciones de configuración: userDefinedCredentialsProvider.classname y userDefinedCredentialsProvider.location. Para obtener las descripciones de estas dos opciones de configuración, consulte Parámetros de configuración del agente.

Para crear un proveedor de credenciales personalizado, defina una clase que implemente la interfaz AWS CredentialsProvider, como la del ejemplo siguiente.

import com.amazonaws.auth.AWSCredentials;
import com.amazonaws.auth.AWSCredentialsProvider;
import com.amazonaws.auth.BasicAWSCredentials;

public class YourClassName implements AWSCredentialsProvider {
    public YourClassName() {
    }

    public AWSCredentials getCredentials() {
        return new BasicAWSCredentials("key1", "key2");
    }

    public void refresh() {
    }
}

Su clase debe tener un constructor sin argumentos.

AWS invoca el método de actualización periódicamente para obtener las credenciales actualizadas. Si desea que el proveedor de credenciales proporcione credenciales diferentes a lo largo de su vida útil, incluya el código para actualizar las credenciales en este método. También puede dejar este método vacío si desea un proveedor de credenciales que ofrezca credenciales estáticas (no cambiantes).

Primero, conéctese a la instancia. Para obtener más información, consulte Connect to Your Instance en la Guía del EC2 usuario de Amazon. Si tiene problemas para conectarse, consulte Solución de problemas de conexión a su instancia en la Guía del EC2 usuario de Amazon.

A continuación, instale el agente siguiendo uno de los siguientes métodos.

El agente ya está se ejecutando como un servicio de sistema en segundo plano. Supervisa continuamente los archivos especificados y envía datos a la secuencia Firehose especificada. La auditoría de actividad se registra en /var/log/aws-kinesis-agent/aws-kinesis-agent.log.

El agente admite dos opciones de configuración obligatorias, filePattern y deliveryStream, además de configuraciones opcionales para activar características adicionales. Las opciones de configuración obligatorias y opcionales se especifican en /etc/aws-kinesis/agent.json.

Cada vez que cambie el archivo de configuración, debe detener y comenzar el agente con los siguientes comandos:

sudo service aws-kinesis-agent stop
sudo service aws-kinesis-agent start

También puede hacerlo con el siguiente comando:

sudo service aws-kinesis-agent restart

Las opciones de configuración generales son las siguientes.

Las opciones de configuración de flujo son las siguientes.

Puede configurar el agente para que monitorice varios directorios de archivos y envíe datos a varias secuencias especificando varias opciones de configuración de secuencia. En el siguiente ejemplo de configuración, el agente supervisa dos directorios de archivos y envía datos a una transmisión de datos de Kinesis y a una transmisión de Firehose, respectivamente. Puede especificar puntos de enlace diferentes para Kinesis Data Streams y Amazon Data Firehose, de modo que la transmisión de datos y la transmisión de Firehose no tengan que estar en la misma región.

{
    "cloudwatch.emitMetrics": true,
    "kinesis.endpoint": "https://your/kinesis/endpoint", 
    "firehose.endpoint": "https://your/firehose/endpoint", 
    "flows": [
        {
            "filePattern": "/tmp/app1.log*", 
            "kinesisStream": "yourkinesisstream"
        }, 
        {
            "filePattern": "/tmp/app2.log*",
            "deliveryStream": "yourfirehosedeliverystream" 
        }
    ] 
}

Para obtener más información detallada sobre el uso del agente con Amazon Kinesis Data Streams, consulte Writing to Amazon Kinesis Data Streams with Kinesis Agent.

El agente puede preprocesar los registros analizados de los archivos monitorizados antes de enviarlos a la transmisión de Firehose. Para habilitar esta característica, añada la opción de configuración dataProcessingOptions al flujo de archivos. Puede añadir una o más opciones de procesamiento que se ejecutarán en el orden especificado.

El agente es compatible con las siguientes opciones de procesamiento. Dado que el agente es de código abierto, el usuario puede desarrollar y ampliar sus opciones de procesamiento. Puede descargar el agente desde Kinesis Agent.

{
    "optionName": "LOGTOJSON",
    "logFormat": "COMMONAPACHELOG"
}

64.242.88.10 - - [07/Mar/2004:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291

{"host":"64.242.88.10","ident":null,"authuser":null,"datetime":"07/Mar/2004:16:10:02 -0800","request":"GET /mailman/listinfo/hsdivision HTTP/1.1","response":"200","bytes":"6291"}

{
    "optionName": "LOGTOJSON",
    "logFormat": "COMMONAPACHELOG",
    "customFieldNames": ["f1", "f2", "f3", "f4", "f5", "f6", "f7"]
}

{"f1":"64.242.88.10","f2":null,"f3":null,"f4":"07/Mar/2004:16:10:02 -0800","f5":"GET /mailman/listinfo/hsdivision HTTP/1.1","f6":"200","f7":"6291"}

{ 
    "flows": [
        {
            "filePattern": "/tmp/app.log*", 
            "deliveryStream": "my-delivery-stream",
            "dataProcessingOptions": [
                {
                    "optionName": "LOGTOJSON",
                    "logFormat": "COMMONAPACHELOG"
                }
            ]
        }
    ] 
}

{ 
    "flows": [
        {
            "filePattern": "/tmp/app.log*", 
            "deliveryStream": "my-delivery-stream",
            "multiLineStartPattern": "\\[SEQUENCE=",
            "dataProcessingOptions": [
                {
                    "optionName": "SINGLELINE"
                },
                {
                    "optionName": "CSVTOJSON",
                    "customFieldNames": [ "field1", "field2", "field3" ],
                    "delimiter": "\\t"
                }
            ]
        }
    ] 
}

{
    "optionName": "LOGTOJSON",
    "logFormat": "COMMONAPACHELOG",
    "matchPattern": "^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\d{4})\\] \"(.+?)\" (\\d{3})",
    "customFieldNames": ["host", "ident", "authuser", "datetime", "request", "response"]
}

123.45.67.89 - - [27/Oct/2000:09:27:09 -0400] "GET /java/javaResources.html HTTP/1.0" 200

{"host":"123.45.67.89","ident":null,"authuser":null,"datetime":"27/Oct/2000:09:27:09 -0400","request":"GET /java/javaResources.html HTTP/1.0","response":"200"}

Inicie automáticamente el agente al iniciar el sistema.

sudo chkconfig aws-kinesis-agent on

Compruebe el estado del agente:

sudo service aws-kinesis-agent status

Detener el agente:

sudo service aws-kinesis-agent stop

Leer el archivo de registro del agente desde esta ubicación:

/var/log/aws-kinesis-agent/aws-kinesis-agent.log

Desinstalar el agente:

sudo yum remove aws-kinesis-agent

¿Hay un agente de Kinesis para Windows?

El agente de Kinesis para Windows es un software diferente del agente de Kinesis para plataformas Linux.

¿Por qué se ralentiza el agente de Kinesis o aumenta el valor de RecordSendErrors?

Normalmente esto se debe a la limitación de Kinesis. Compruebe la WriteProvisionedThroughputExceeded métrica de las transmisiones de Kinesis Data Streams o ThrottledRecords la métrica de las transmisiones de Firehose. Cualquier aumento desde 0 en estas métricas indica que es necesario aumentar los límites de flujos. Para obtener más información, consulte Límites de transmisión de datos de Kinesis y transmisiones de Firehose.

Una vez que descarte la limitación, compruebe si el agente de Kinesis está configurado para seguir una gran cantidad de archivos pequeños. Se produce un retraso cuando el agente de Kinesis sigue un archivo nuevo, por lo que el agente de Kinesis debería seguir una pequeña cantidad de archivos de mayor tamaño. Intente consolidar los archivos de registro en archivos más grandes.

¿Por qué se producen excepciones java.lang.OutOfMemoryError ?

El agente de Kinesis no tiene memoria suficiente para gestionar la carga de trabajo actual. Intente aumentar JAVA_START_HEAP y JAVA_MAX_HEAP en /usr/bin/start-aws-kinesis-agent y reinicie el agente.

¿Por qué se producen excepciones IllegalStateException : connection pool shut down?

El agente de Kinesis no tiene suficientes conexiones para gestionar la carga de trabajo actual. Intente aumentar maxConnections y maxSendingThreads en los ajustes generales de configuración del agente en /etc/aws-kinesis/agent.json. El valor predeterminado para estos campos es 12 veces los procesadores de tiempo de ejecución disponibles. Consulte AgentConfiguration.java para obtener más información sobre las configuraciones avanzadas de los agentes.

¿Cómo puedo depurar otro problema con el agente de Kinesis?

Los registros de nivel DEBUG pueden habilitarse en /etc/aws-kinesis/log4j.xml.

¿Cómo debo configurar el agente de Kinesis?

Cuanto menor sea el valor de maxBufferSizeBytes, más frecuentemente enviará datos el agente de Kinesis. Esto puede ser bueno ya que disminuye el tiempo de entrega de los registros, pero también aumenta las solicitudes por segundo a Kinesis.

¿Por qué el agente de Kinesis envía registros duplicados?

Esto ocurre debido a una mala configuración en el seguimiento de archivos. Asegúrese de que cada fileFlow’s filePattern solo coincida con un archivo. Esto también puede ocurrir si el modo logrotate que se está utilizando está en modo copytruncate. Intente cambiar al modo predeterminado o al de creación para evitar la duplicación. Para obtener más información sobre la gestión de registros duplicados, consulte Handling Duplicate Records.