La entrega de transmisiones de Amazon Data Firehose a Apache Iceberg Tables en Amazon S3 está en versión preliminar y está sujeta a cambios.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Especifique los ajustes de configuración del agente
El agente admite dos opciones de configuración obligatorias, filePattern y deliveryStream, además de configuraciones opcionales para activar características adicionales. Las opciones de configuración obligatorias y opcionales se especifican en /etc/aws-kinesis/agent.json.
Cada vez que cambie el archivo de configuración, debe detener y comenzar el agente con los siguientes comandos:
sudo service aws-kinesis-agent stopsudo service aws-kinesis-agent start
También puede hacerlo con el siguiente comando:
sudo service aws-kinesis-agent restart
Las opciones de configuración generales son las siguientes.
| Opción de configuración | Descripción |
|---|---|
assumeRoleARN |
El nombre del recurso de Amazon (ARN) del rol que asumirá el usuario. Para obtener más información, consulte Delegate Access Across AWS Cuentas que utilizan IAM roles en la Guía IAM del usuario. |
assumeRoleExternalId |
Un identificador opcional que determina quién puede asumir el rol. Para obtener más información, consulte Cómo utilizar un identificador externo en la Guía del IAM usuario. |
awsAccessKeyId |
AWS ID de clave de acceso que anula las credenciales predeterminadas. Este ajuste tiene prioridad sobre los demás proveedores de credenciales. |
awsSecretAccessKey |
AWS clave secreta que anula las credenciales predeterminadas. Este ajuste tiene prioridad sobre los demás proveedores de credenciales. |
cloudwatch.emitMetrics |
Permite que el agente emita métricas CloudWatch si se ha establecido (true). Predeterminado: true |
cloudwatch.endpoint |
El punto final regional de CloudWatch. Valor predeterminado: |
firehose.endpoint |
El punto de conexión regional de Amazon Data Firehose. Valor predeterminado: |
sts.endpoint |
El punto de enlace regional de AWS Servicio de fichas de seguridad. Valor predeterminado: |
userDefinedCredentialsProvider.classname |
Si define un proveedor de credenciales personalizado, proporcione su nombre de clase completo mediante esta configuración. No incluya .class al final del nombre de la clase. |
userDefinedCredentialsProvider.location |
Si define un proveedor de credenciales personalizado, utilice esta configuración para especificar la ruta absoluta del archivo jar que contiene el proveedor de credenciales personalizado. El agente también busca el archivo jar en la siguiente ubicación: /usr/share/aws-kinesis-agent/lib/. |
Las opciones de configuración de flujo son las siguientes.
| Opción de configuración | Descripción |
|---|---|
aggregatedRecordSizeBytes |
Para hacer que el agente agregue registros y, a continuación, los coloque en la transmisión Firehose en una sola operación, especifique esta configuración. Configúrelo en el tamaño que desee que tenga el registro agregado antes de que el agente lo coloque en la transmisión Firehose. Valor predeterminado: 0 (sin agregación) |
dataProcessingOptions |
La lista de opciones de procesamiento que se aplica a cada registro analizado antes de enviarlo a la transmisión Firehose. Las opciones de procesamiento se realizan en el orden especificado. Para obtener más información, consulte Procese previamente los datos con los agentes. |
deliveryStream |
[Obligatorio] El nombre del arroyo Firehose. |
filePattern |
[Obligatorio] Un glob para los archivos que deben ser monitorizados por el agente. Cualquier archivo que coincida con este patrón es seleccionado y monitorizado automáticamente por el agente. En todos los archivos que coincidan con este patrón, conceda permisos de lectura a importanteEl agente recoge cualquier archivo que coincida con este patrón. Para asegurarse de que el agente no recoge registros no deseados, seleccione este patrón con precaución. |
initialPosition |
La posición inicial desde la que el archivo comenzó a ser analizado. Los valores válidos son Valor predeterminado: |
maxBufferAgeMillis |
El tiempo máximo, en milisegundos, durante el que el agente almacena los datos en búfer antes de enviarlos a la transmisión Firehose. Rango de valores: 1000 - 900 000 (de 1 segundo a 15 minutos) Valor predeterminado: 60 000 (1 minuto) |
maxBufferSizeBytes |
El tamaño máximo, en bytes, para el que el agente almacena los datos en búfer antes de enviarlos a la transmisión Firehose. Rango de valores: 1 - 4 194 304 (4 MB) Valor predeterminado: 4 194 304 (4 MB) |
maxBufferSizeRecords |
El número máximo de registros para los que el agente almacena datos en búfer antes de enviarlos a la transmisión Firehose. Rango de valores: 1 - 500 Predeterminado: 500 |
minTimeBetweenFilePollsMillis |
El intervalo de tiempo, en milisegundos, en el que el agente sondea y analiza los archivos monitorizados para identificar datos nuevos. Intervalo de valores: 1 o más Predeterminado: 100 |
multiLineStartPattern |
El patrón para identificar el comienzo de un registro. Un registro consta de una línea que coincide con el patrón y de líneas siguientes que no coinciden con el patrón. Los valores válidos son expresiones regulares. De forma predeterminada, cada línea en los archivos de registro se analiza como un registro. |
skipHeaderLines |
La cantidad de líneas de los archivos monitorizados, a partir de la primera, que el agente debe omitir en el momento de analizarlos. Intervalo de valores: 0 o más Cantidad predeterminada: 0 (cero) |
truncatedRecordTerminator |
La cadena que el agente utiliza para truncar un registro analizado cuando el tamaño del registro supera el límite de tamaño de registro de Amazon Data Firehose. (1000 KB) Valor predeterminado: |
