Especificar las opciones de configuración del agente
El agente admite dos opciones de configuración obligatorias, filePattern y deliveryStream, además de configuraciones opcionales para activar características adicionales. Las opciones de configuración obligatorias y opcionales se especifican en /etc/aws-kinesis/agent.json.
Cada vez que cambie el archivo de configuración, debe detener y comenzar el agente con los siguientes comandos:
sudo service aws-kinesis-agent stopsudo service aws-kinesis-agent start
También puede hacerlo con el siguiente comando:
sudo service aws-kinesis-agent restart
Las opciones de configuración generales son las siguientes.
| Opción de configuración | Descripción |
|---|---|
assumeRoleARN |
El Nombre de recurso de Amazon (ARN) de la función que debe asumir el usuario. Para obtener más información, consulte Delegación del acceso entre cuentas de AWS mediante roles de IAM en la Guía del usuario de IAM. |
assumeRoleExternalId |
Un identificador opcional que determina quién puede asumir el rol. Para obtener más información, consulte Cómo utilizar un ID externo en la Guía del usuario de IAM. |
awsAccessKeyId |
ID de clave de acceso de AWS que anula las credenciales predeterminadas. Este ajuste tiene prioridad sobre los demás proveedores de credenciales. |
awsSecretAccessKey |
Clave de secreta de AWS que anula las credenciales predeterminadas. Este ajuste tiene prioridad sobre los demás proveedores de credenciales. |
cloudwatch.emitMetrics |
Permite al agente emitir métricas a CloudWatch si se establece (true). Predeterminado: true |
cloudwatch.endpoint |
Punto de conexión regional de CloudWatch. Valor predeterminado: |
firehose.endpoint |
Punto de conexión regional de Amazon Data Firehose. Valor predeterminado: |
sts.endpoint |
Punto de conexión regional de AWS Security Token Service. Valor predeterminado: |
userDefinedCredentialsProvider.classname |
Si define un proveedor de credenciales personalizado, proporcione su nombre de clase completo mediante esta configuración. No incluya .class al final del nombre de la clase. |
userDefinedCredentialsProvider.location |
Si define un proveedor de credenciales personalizado, utilice esta configuración para especificar la ruta absoluta del archivo jar que contiene el proveedor de credenciales personalizado. El agente también busca el archivo jar en la siguiente ubicación: /usr/share/aws-kinesis-agent/lib/. |
Las opciones de configuración de flujo son las siguientes.
| Opción de configuración | Descripción |
|---|---|
aggregatedRecordSizeBytes |
Para generar los registros de agregación del agente y ponerlos en el flujo de Firehose en una operación, especifique esta opción. Establezca el tamaño que desea que tenga el registro agregado antes de que el agente lo añada al flujo de Firehose. Valor predeterminado: 0 (sin agregación) |
dataProcessingOptions |
La lista de opciones de procesamiento aplicadas a cada registro analizado antes de enviarlo al flujo de Firehose. Las opciones de procesamiento se realizan en el orden especificado. Para obtener más información, consulte Preprocesar los datos con los agentes. |
deliveryStream |
[Obligatorio] El nombre del flujo de Firehose. |
filePattern |
[Obligatorio] Un glob para los archivos que deben ser monitorizados por el agente. Cualquier archivo que coincida con este patrón es seleccionado y monitorizado automáticamente por el agente. En todos los archivos que coincidan con este patrón, conceda permisos de lectura a importanteEl agente recoge cualquier archivo que coincida con este patrón. Para asegurarse de que el agente no recoge registros no deseados, seleccione este patrón con precaución. |
initialPosition |
La posición inicial desde la que el archivo comenzó a ser analizado. Los valores válidos son Valor predeterminado: |
maxBufferAgeMillis |
El tiempo máximo, en milisegundos, durante el cual el agente almacena los datos en búfer antes de enviarlos al flujo de Firehose. Rango de valores: 1000 - 900 000 (de 1 segundo a 15 minutos) Valor predeterminado: 60 000 (1 minuto) |
maxBufferSizeBytes |
El tamaño máximo, en bytes, que el agente almacena en búfer antes de enviarlos al flujo de Firehose. Rango de valores: 1 - 4 194 304 (4 MB) Valor predeterminado: 4 194 304 (4 MB) |
maxBufferSizeRecords |
La cantidad máxima de registros en datos que el agente almacena en búfer antes de enviarlos al flujo de Firehose. Rango de valores: 1 - 500 Predeterminado: 500 |
minTimeBetweenFilePollsMillis |
El intervalo de tiempo, en milisegundos, en el que el agente sondea y analiza los archivos monitorizados para identificar datos nuevos. Intervalo de valores: 1 o más Predeterminado: 100 |
multiLineStartPattern |
El patrón para identificar el comienzo de un registro. Un registro consta de una línea que coincide con el patrón y de líneas siguientes que no coinciden con el patrón. Los valores válidos son expresiones regulares. De forma predeterminada, cada línea en los archivos de registro se analiza como un registro. |
skipHeaderLines |
La cantidad de líneas de los archivos monitorizados, a partir de la primera, que el agente debe omitir en el momento de analizarlos. Intervalo de valores: 0 o más Cantidad predeterminada: 0 (cero) |
truncatedRecordTerminator |
Cadena que utiliza el agente para truncar un registro analizado cuando su tamaño supera el límite de tamaño de registros de Amazon Data Firehose. (1000 KB) Valor predeterminado: |
