Configuración de los ajustes de destino - Amazon Data Firehose

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configuración de los ajustes de destino

En esta sección, se describen los ajustes que debe configurar para su flujo de Firehose en función del destino que seleccione.

Configuración de los ajustes de destino de Amazon S3

Debe especificar la siguiente configuración para poder utilizar Amazon S3 como destino del flujo de Firehose.

  • Escriba valores en los siguientes campos:

    S3 bucket

    Seleccione el bucket de S3 de su propiedad adonde se deben entregar los datos de streaming. Puede crear un bucket de S3 nuevo o elegir uno disponible.

    Delimitador de nueva línea

    Puede configurar el flujo de Firehose para agregar un delimitador de nueva línea entre los registros de los objetos que se entregan en Amazon S3. Para ello, elija Habilitado. Para no agregar un delimitador de nueva línea entre los registros de los objetos que se entregan en Amazon S3, seleccione Deshabilitado. Si planea usar Athena para consultar objetos de S3 con registros agregados, active esta opción.

    Particionamiento dinámico

    Seleccione Habilitado para habilitar y configurar el particionamiento dinámico.

    Desagregación de varios registros

    Este es el proceso de analizar los registros del flujo Firehose y separarlos en función del delimitador de línea nuevo o JSON válido especificado.

    Si agregas varios eventos, registros o registros en una sola PutRecordBatch API llamada, puedes habilitar PutRecord y configurar la partición dinámica. Con los datos agregados, cuando habilita la partición dinámica, Amazon Data Firehose analiza los registros y busca varios objetos JSON válidos en cada llamada. API Si la transmisión de Firehose está configurada con Kinesis Data Stream como fuente, también puede utilizar la agregación integrada en la biblioteca de productores de Kinesis (). KPL La funcionalidad de partición de datos se ejecuta después de desagregar los datos. Por lo tanto, cada registro de cada API llamada se puede enviar a distintos prefijos de Amazon S3. También puede utilizar la integración de la función de Lambda para realizar cualquier otra desagregación o cualquier otra transformación antes de la funcionalidad de particionamiento de datos.

    importante

    Si sus datos están agregados, el particionamiento dinámico solo se puede aplicar una vez completada la desagregación de los datos. Por lo tanto, si habilita el particionamiento dinámico en sus datos agregados, debe seleccionar Habilitado para habilitar la desagregación de varios registros.

    Firehose Stream realiza los siguientes pasos de procesamiento en el siguiente orden: desagregación KPL (protobuf) o desagregación de JSON delimitadores, procesamiento Lambda, particionamiento de datos, conversión de formatos de datos y entrega a Amazon S3.

    Tipo de desagregación de varios registros

    Si ha habilitado la desagregación de varios registros, debe especificar el método para que Firehose desagregue los datos. Utilice el menú desplegable para elegir entre Delimitado o Delimitado. JSON

    Análisis en línea

    Este es uno de los mecanismos admitidos para particionar dinámicamente los datos vinculados a Amazon S3. A fin de usar el análisis en línea para el particionamiento dinámico de sus datos, debe especificar los parámetros de registro de datos que se utilizarán como claves de particionamiento y proporcionar un valor para cada clave de particionamiento especificada. Seleccione Habilitado para habilitar y configurar el análisis en línea.

    importante

    Si especificó una función AWS Lambda en los pasos anteriores para transformar los registros fuente, puede utilizarla para particionar dinámicamente los datos enlazados a S3 y seguir creando las claves de partición con el análisis en línea. Con el particionamiento dinámico, puede usar el análisis en línea o la función AWS Lambda para crear las claves de particionamiento. O bien, puede usar el análisis en línea y la función AWS Lambda al mismo tiempo para crear las claves de partición.

    Claves de particionamiento dinámico

    Puede usar los campos Clave y Valor para especificar los parámetros de registro de datos que se utilizarán como claves de particionamiento dinámico y las consultas jq para generar valores de claves de particionamiento dinámico. Firehose solo admite jq 1.6. Puede especificar hasta 50 claves de particionamiento dinámico. Debe ingresar expresiones jq válidas para los valores de las claves de particionamiento dinámico a fin de configurar correctamente el particionamiento dinámico para su flujo de Firehose.

    Prefijo de bucket de S3

    Al habilitar y configurar el particionamiento dinámico, debe especificar los prefijos de buckets de S3 en los que Amazon Data Firehose entregará los datos particionados.

    Para que el particionamiento dinámico se configure correctamente, el número de prefijos de bucket de S3 debe ser idéntico al número de claves de particionamiento especificadas.

    Puede particionar los datos de origen con el análisis en línea o con la función Lambda AWS que especifique. Si especificó una función de AWS Lambda para crear claves de partición para los datos de origen, debe escribir manualmente los valores del prefijo del bucket S3 con el siguiente formato: "Lambda:keyID». partitionKeyFrom Si utiliza el análisis en línea para especificar las claves de partición para sus datos de origen, puede escribir manualmente los valores de vista previa del bucket de S3 con el siguiente formato: «partitionKeyFromquery:keyID» o puede elegir el botón Aplicar claves de partición dinámica para utilizar sus pares clave/valor de particionamiento dinámico para generar automáticamente los prefijos de su bucket de S3. Al particionar sus datos con análisis en línea o AWS Lambda, también puede usar las siguientes formas de expresión en el prefijo de su bucket de S3:! {namespace:value}, donde el espacio de nombres puede ser Query o Lambda. partitionKeyFrom partitionKeyFrom

    Zona horaria del prefijo del resultado del bucket S3 y el error de S3

    Elija la zona horaria que desee usar para la fecha y la hora en los prefijos personalizados de los objetos de Amazon S3. De forma predeterminada, Firehose añade un prefijo de hora. UTC Puede cambiar la zona horaria utilizada en los prefijos de S3 si desea utilizar una zona horaria diferente.

    Sugerencias de almacenamiento en búfer

    Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Compresión en S3

    Elija entre GZIP compresión de datos Snappy, Zip o Snappy, compatible con Hadoop, o sin compresión de datos. Las compresiones Snappy, Zip y Snappy compatible con Hadoop no están disponibles para los flujos de Firehose con Amazon Redshift como destino.

    Formato de extensión de archivo de S3 (opcional)

    Especifique un formato de extensión de archivo para los objetos entregados al bucket de destino de Amazon S3. Si habilita esta característica, la extensión de archivo especificada anulará las extensiones de archivo predeterminadas incorporadas por las funciones de conversión de formato de datos o de compresión en S3, como .parquet o .gz. Asegúrese de haber configurado la extensión de archivo correcta cuando utilice esta característica con la conversión de formato de datos o la compresión en S3. La extensión del archivo debe empezar con un punto (.) y puede contener los caracteres permitidos: 0-9a-z!-_.*‘(). La extensión del archivo no puede superar los 128 caracteres.

    Cifrado de S3

    Firehose admite el cifrado del lado del servidor de Amazon S3 con AWS Key Management Service (SSE-KMS) para cifrar los datos entregados en Amazon S3. Puede optar por utilizar el tipo de cifrado predeterminado especificado en el depósito S3 de destino o cifrar con una clave de la lista de claves de su propiedad. AWS KMS Si cifra los datos con AWS KMS claves, puede usar la clave AWS administrada predeterminada (aws/s3) o una clave administrada por el cliente. Para obtener más información, consulte Protección de datos mediante el cifrado del lado del servidor con claves administradas AWS KMS (-). SSE KMS

Configuración de los ajustes de destino de las tablas de Apache Iceberg

Firehose admite las tablas Apache Iceberg como destino en todas las regiones, excepto en Regiones de AWSChina AWS GovCloud (US) Regions, y en Asia Pacífico (Malasia).

Para obtener más información sobre las tablas de Apache Iceberg como destino, consulte Entrega de datos a tablas de Apache Iceberg con Amazon Data Firehose.

Configuración de las opciones de destino de Amazon Redshift

En esta sección, se describe la configuración para usar Amazon Redshift como destino del flujo de Firehose.

Elija uno de los siguientes procedimientos en función de si tiene un clúster aprovisionado de Amazon Redshift o un grupo de trabajo de Amazon Redshift sin servidor.

Clúster aprovisionado de Amazon Redshift

En esta sección, se describe la configuración para usar el clúster aprovisionado de Amazon Redshift como destino del flujo de Firehose.

  • Escriba valores en los siguientes campos:

    Clúster

    Clúster de Amazon Redshift en el que se copian los datos del bucket de S3. Configure el clúster de Amazon Redshift para que sea accesible al público y desbloquee direcciones IP de Amazon Data Firehose. Para obtener más información, consulte Concesión a Firehose de acceso a un destino de Amazon Redshift .

    Autenticación

    Puede elegir entre introducir el nombre de usuario y la contraseña directamente o recuperar el secreto AWS Secrets Manager para acceder al clúster de Amazon Redshift.

    • Nombre de usuario

      Especifique un usuario de Amazon Redshift con permisos para acceder al clúster de Amazon Redshift. Este usuario debe tener el permiso INSERT de Amazon Redshift para copiar datos del bucket de S3 en el clúster de Amazon Redshift.

    • Contraseña

      Especifique la contraseña del usuario con permisos para obtener acceso al clúster.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga las credenciales del clúster de Amazon Redshift. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager para sus credenciales de Amazon Redshift. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Base de datos

    Base de datos de Amazon Redshift en la que se copian los datos.

    Tabla

    Tabla de Amazon Redshift en la que se copian los datos.

    Columnas

    Las columnas específicas de la tabla donde se copian los datos (opcional). Utilice esta opción si la cantidad de columnas definida en los objetos de Amazon S3 es menor que la cantidad de columnas en la tabla Amazon Redshift.

    Destino de S3 intermedio

    Firehose primero entrega los datos en el bucket de S3 y, a continuación, emite un comando COPY de Amazon Redshift para cargar los datos en el clúster de Amazon Redshift. Especifique el bucket de S3 de su propiedad adonde se deben entregar los datos de streaming. Cree un nuevo bucket de S3 o elija uno que le pertenezca.

    Firehose no elimina los datos de su bucket de S3 después de cargarlos en el clúster de Amazon Redshift. Puede administrar los datos en el bucket de S3 utilizando una configuración del ciclo de vida. Para obtener más información, consulte Administración del ciclo de vida de los objetos en la Guía del usuario de Amazon Simple Storage Service.

    Prefijo de S3 intermedio

    (Opcional) Para utilizar el prefijo predeterminado de los objetos de Amazon S3, deje esta opción en blanco. Firehose utiliza automáticamente un prefijo en formato de UTC hora «YYYY/MM/dd/HH» para los objetos Amazon S3 entregados. Puede añadir más elementos al comienzo de este prefijo. Para obtener más información, consulte Configuración del formato de nombres de objetos de Amazon S3.

    COPYopciones

    Parámetros que puede especificar en el comando COPY de Amazon Redshift. Podrían ser necesarios para la configuración. Por ejemplo, se requiere GZIP «» si la compresión de datos de Amazon S3 está habilitada. Se requiere REGION «» si el bucket de S3 no se encuentra en la misma AWS región que el clúster de Amazon Redshift. Para obtener más información, consulte COPY en la Guía para desarrolladores de bases de datos de Amazon Redshift.

    Comando de la COPY

    Comando COPY de Amazon Redshift. Para obtener más información, consulte COPY en la Guía para desarrolladores de bases de datos de Amazon Redshift.

    Retry duration

    Tiempo (entre 0 y 7200 segundos) para que Firehose vuelva a intentarlo si falla el comando COPY sobre los datos en el clúster de Amazon Redshift. Firehose hace reintentos cada 5 minutos hasta que finaliza el tiempo de reintento. Si establece el tiempo de reintento en 0 (cero) segundos, Firehose no lo reintenta tras producirse un error en el comando COPY.

    Sugerencias de almacenamiento en búfer

    Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Compresión en S3

    Elija entre GZIP compresión de datos Snappy, Zip o Snappy compatible con Hadoop, o sin compresión de datos. Las compresiones Snappy, Zip y Snappy compatible con Hadoop no están disponibles para los flujos de Firehose con Amazon Redshift como destino.

    Formato de extensión de archivo de S3 (opcional)

    Formato de extensión de archivo S3 (opcional): especifique un formato de extensión de archivo para los objetos entregados al bucket de destino de Amazon S3. Si habilita esta característica, la extensión de archivo especificada anulará las extensiones de archivo predeterminadas incorporadas por las funciones de conversión de formato de datos o de compresión en S3, como .parquet o .gz. Asegúrese de haber configurado la extensión de archivo correcta cuando utilice esta característica con la conversión de formato de datos o la compresión en S3. La extensión del archivo debe empezar con un punto (.) y puede contener los caracteres permitidos: 0-9a-z!-_.*‘(). La extensión del archivo no puede superar los 128 caracteres.

    Cifrado de S3

    Firehose admite el cifrado del lado del servidor de Amazon S3 con AWS Key Management Service (SSE-KMS) para cifrar los datos entregados en Amazon S3. Puede optar por utilizar el tipo de cifrado predeterminado especificado en el depósito S3 de destino o cifrar con una clave de la lista de claves de su propiedad. AWS KMS Si cifra los datos con AWS KMS claves, puede usar la clave AWS administrada predeterminada (aws/s3) o una clave administrada por el cliente. Para obtener más información, consulte Protección de datos mediante el cifrado del lado del servidor con claves administradas AWS KMS (-). SSE KMS

Configuración de las opciones de destino del grupo de trabajo de Amazon Redshift sin servidor

En esta sección, se describe la configuración para usar el grupo de trabajo de Amazon Redshift sin servidor como destino del flujo de Firehose.

  • Escriba valores en los siguientes campos:

    Nombre del grupo de trabajo

    El grupo de trabajo de Amazon Redshift sin servidor en el que se copian los datos del bucket de S3. Configure el grupo de trabajo de Amazon Redshift sin servidor para que sea accesible al público y desbloquee las direcciones IP de Firehose. Para obtener más información, consulte la sección Conectarse a una instancia de Amazon Redshift sin servidor accesible públicamente en Conexión a Amazon Redshift sin servidor y también Concesión a Firehose de acceso a un destino de Amazon Redshift .

    Autenticación

    Puede elegir entre introducir el nombre de usuario y la contraseña directamente o recuperar el secreto para acceder AWS Secrets Manager al grupo de trabajo Amazon Redshift Serverless.

    • Nombre de usuario

      Especifique el usuario de Amazon Redshift con permisos para acceder al grupo de trabajo de Amazon Redshift sin servidor. Este usuario debe tener el permiso INSERT de Amazon Redshift para copiar datos del bucket de S3 en el grupo de trabajo de Amazon Redshift sin servidor.

    • Contraseña

      Especifique la contraseña del usuario que tiene permisos para acceder al grupo de trabajo de Amazon Redshift sin servidor.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga las credenciales del grupo de trabajo Amazon Redshift Serverless. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager para sus credenciales de Amazon Redshift. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Base de datos

    Base de datos de Amazon Redshift en la que se copian los datos.

    Tabla

    Tabla de Amazon Redshift en la que se copian los datos.

    Columnas

    Las columnas específicas de la tabla donde se copian los datos (opcional). Utilice esta opción si la cantidad de columnas definida en los objetos de Amazon S3 es menor que la cantidad de columnas en la tabla Amazon Redshift.

    Destino de S3 intermedio

    Amazon Data Firehose primero entrega los datos en el bucket de S3 y, a continuación, emite un comando COPY de Amazon Redshift para cargar los datos en el grupo de trabajo de Amazon Redshift sin servidor. Especifique el bucket de S3 de su propiedad adonde se deben entregar los datos de streaming. Cree un nuevo bucket de S3 o elija uno que le pertenezca.

    Firehose no elimina los datos de su bucket de S3 después de cargarlos en el grupo de trabajo de Amazon Redshift sin servidor. Puede administrar los datos en el bucket de S3 utilizando una configuración del ciclo de vida. Para obtener más información, consulte Administración del ciclo de vida de los objetos en la Guía del usuario de Amazon Simple Storage Service.

    Prefijo de S3 intermedio

    (Opcional) Para utilizar el prefijo predeterminado de los objetos de Amazon S3, deje esta opción en blanco. Firehose utiliza automáticamente un prefijo en formato de UTC hora «YYYY/MM/dd/HH» para los objetos Amazon S3 entregados. Puede añadir más elementos al comienzo de este prefijo. Para obtener más información, consulte Configuración del formato de nombres de objetos de Amazon S3.

    COPYopciones

    Parámetros que puede especificar en el comando COPY de Amazon Redshift. Podrían ser necesarios para la configuración. Por ejemplo, se requiere GZIP «» si la compresión de datos de Amazon S3 está habilitada. Se requiere REGION «» si su bucket de S3 no está en la misma AWS región que su grupo de trabajo Amazon Redshift Serverless. Para obtener más información, consulte COPY en la Guía para desarrolladores de bases de datos de Amazon Redshift.

    Comando de la COPY

    Comando COPY de Amazon Redshift. Para obtener más información, consulte COPY en la Guía para desarrolladores de bases de datos de Amazon Redshift.

    Retry duration

    Tiempo (entre 0 y 7200 segundos) para que Firehose vuelva a intentarlo si falla el comando COPY sobre los datos en el grupo de trabajo de Amazon Redshift sin servidor. Firehose hace reintentos cada 5 minutos hasta que finaliza el tiempo de reintento. Si establece el tiempo de reintento en 0 (cero) segundos, Firehose no lo reintenta tras producirse un error en el comando COPY.

    Sugerencias de almacenamiento en búfer

    Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Compresión en S3

    Elija entre GZIP compresión de datos Snappy, Zip o Snappy compatible con Hadoop, o sin compresión de datos. Las compresiones Snappy, Zip y Snappy compatible con Hadoop no están disponibles para los flujos de Firehose con Amazon Redshift como destino.

    Formato de extensión de archivo de S3 (opcional)

    Formato de extensión de archivo S3 (opcional): especifique un formato de extensión de archivo para los objetos entregados al bucket de destino de Amazon S3. Si habilita esta característica, la extensión de archivo especificada anulará las extensiones de archivo predeterminadas incorporadas por las funciones de conversión de formato de datos o de compresión en S3, como .parquet o .gz. Asegúrese de haber configurado la extensión de archivo correcta cuando utilice esta característica con la conversión de formato de datos o la compresión en S3. La extensión del archivo debe empezar con un punto (.) y puede contener los caracteres permitidos: 0-9a-z!-_.*‘(). La extensión del archivo no puede superar los 128 caracteres.

    Cifrado de S3

    Firehose admite el cifrado del lado del servidor de Amazon S3 con AWS Key Management Service (SSE-KMS) para cifrar los datos entregados en Amazon S3. Puede optar por utilizar el tipo de cifrado predeterminado especificado en el depósito S3 de destino o cifrar con una clave de la lista de claves de su propiedad. AWS KMS Si cifra los datos con AWS KMS claves, puede usar la clave AWS administrada predeterminada (aws/s3) o una clave administrada por el cliente. Para obtener más información, consulte Protección de datos mediante el cifrado del lado del servidor con claves administradas AWS KMS (-). SSE KMS

Configure los ajustes de destino del servicio OpenSearch

En esta sección se describen las opciones para usar el OpenSearch Servicio en su destino.

  • Escriba valores en los siguientes campos:

    OpenSearch Dominio de servicio

    El dominio de OpenSearch servicio al que se envían sus datos.

    Índice

    El nombre del índice de OpenSearch servicios que se utilizará al indexar los datos en su clúster OpenSearch de servicios.

    Index rotation

    Elija si se debe rotar el índice OpenSearch de servicios y con qué frecuencia. Si la rotación de índices está habilitada, Amazon Data Firehose agrega la marca de tiempo correspondiente al nombre del índice especificado y lo rota. Para obtener más información, consulte Configura la rotación del índice para el servicio OpenSearch .

    Tipo

    El nombre del tipo de OpenSearch servicio que se utilizará al indexar los datos en su clúster de OpenSearch servicios. Para Elasticsearch 7.x y OpenSearch 1.x, solo puede haber un tipo por índice. Si intenta especificar un tipo nuevo para un índice existente que ya tiene otro tipo, Firehose devuelve un error durante el tiempo de ejecución.

    Para Elasticsearch 7.x, deje este campo vacío.

    Retry duration

    Tiempo que tarda Firehose en volver a intentarlo si se produce un error en una solicitud de indexación. OpenSearch Como duración del reintento, se puede establecer cualquier valor entre 0 y 7200 segundos. La duración predeterminada del reintento es de 300 segundos. Firehose volverá a intentarlo varias veces con un retroceso exponencial hasta que caduque la duración del reintento.

    Una vez transcurrido el tiempo de reintento, Firehose envía los datos a Dead Letter Queue DLQ (), un depósito de errores de S3 configurado. En el caso de los datos enviados aDLQ, hay que volver a llevarlos del depósito de errores de S3 configurado al destino. OpenSearch

    Si quieres impedir que Firehose Stream entregue datos DLQ debido a un tiempo de inactividad o al mantenimiento de OpenSearch los clústeres, puedes configurar la duración del reintento con un valor superior en segundos. Para aumentar el valor de la duración del reintento por encima de los 7200 segundos, comuníquese con el servicio de asistencia de AWS .

    Tipo de DocumentID

    Indica el método para configurar el ID de documento. Los métodos admitidos son el ID de documento generado por FireHose y el ID de documento generado por el OpenSearch servicio. El identificador del documento generado por Firehose es la opción predeterminada cuando el valor del identificador del documento no está establecido. OpenSearch La opción recomendada es el identificador de documento generado por el servicio, ya que permite realizar operaciones de escritura intensiva, como el análisis y la observabilidad de los registros, por lo que consume menos CPU recursos en el dominio del OpenSearch servicio y, por lo tanto, mejora el rendimiento.

    Conectividad de destino VPC

    Si su dominio de OpenSearch servicio es privadoVPC, utilice esta sección para especificarloVPC. Especifique también las subredes y subgrupos que desea que Amazon Data Firehose utilice cuando envíe datos a su dominio de servicio. OpenSearch Puede usar los mismos grupos de seguridad que usa el dominio del OpenSearch servicio. Si especifica diferentes grupos de seguridad, asegúrese de que permitan el HTTPS tráfico saliente al grupo de seguridad del dominio de OpenSearch servicio. Asegúrese también de que el grupo de seguridad del dominio de OpenSearch servicio permita el HTTPS tráfico de los grupos de seguridad que especificó al configurar la transmisión de Firehose. Si utilizas el mismo grupo de seguridad tanto para la transmisión de Firehose como para el dominio de OpenSearch servicio, asegúrate de que la regla de entrada del grupo de seguridad permita el tráfico. HTTPS Para obtener más información sobre las reglas de grupos de seguridad, consulta Reglas de grupos de seguridad en la VPC documentación de Amazon.

    importante

    Cuando especifique subredes para entregar datos al destino en un entorno privadoVPC, asegúrese de tener un número suficiente de direcciones IP libres en las subredes elegidas. Si no hay una dirección IP gratuita disponible en una subred específica, Firehose no podrá crearla ni ENIs añadirla para la entrega de datos en la red VPC privada, y la entrega se degradará o fallará.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configura los ajustes de destino para Serverless OpenSearch

En esta sección se describen las opciones para usar OpenSearch Serverless como destino.

  • Escriba valores en los siguientes campos:

    OpenSearch Colección sin servidor

    El punto final de un grupo de índices OpenSearch sin servidor al que se envían los datos.

    Índice

    El nombre del índice OpenSearch Serverless que se utilizará al indexar los datos para su colección Serverless. OpenSearch

    VPCConectividad de destino

    Si su colección OpenSearch Serverless está en un entorno privadoVPC, utilice esta sección para especificarlo. VPC Especifique también las subredes y subgrupos que desea que Amazon Data Firehose utilice cuando envíe datos a su colección Serverless. OpenSearch

    importante

    Cuando especifique subredes para entregar los datos al destino en un entorno privadoVPC, asegúrese de tener un número suficiente de direcciones IP libres en las subredes elegidas. Si no hay una dirección IP gratuita disponible en una subred específica, Firehose no podrá crearla ni ENIs añadirla para la entrega de datos en la red VPC privada, y la entrega se degradará o fallará.

    Retry duration

    Tiempo que tarda Firehose en volver a intentarlo si se produce un error en una solicitud de índice a OpenSearch Serverless. Como duración del reintento, se puede establecer cualquier valor entre 0 y 7200 segundos. La duración predeterminada del reintento es de 300 segundos. Firehose volverá a intentarlo varias veces con un retroceso exponencial hasta que caduque la duración del reintento.

    Una vez transcurrido el tiempo de reintento, Firehose envía los datos a Dead Letter Queue DLQ (), un depósito de errores de S3 configurado. En el caso de los datos enviados aDLQ, debes volver a llevarlos del depósito de errores de S3 configurado a un destino sin servidor. OpenSearch

    Si quieres impedir que Firehose Stream entregue datos DLQ debido a un tiempo de inactividad o al mantenimiento de los clústeres OpenSearch sin servidor, puedes configurar la duración del reintento con un valor superior en segundos. Para aumentar el valor de la duración del reintento por encima de los 7200 segundos, comuníquese con el servicio de asistencia de AWS .

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configure los ajustes de destino para Endpoint HTTP

En esta sección, se describen las opciones para usar el HTTPpunto final como destino.

importante

Si elige un HTTP punto final como destino, revise y siga las instrucciones que se indican en élComprender las especificaciones de solicitudes y respuestas de entrega de puntos de conexión HTTP.

  • Proporcione valores para los siguientes campos:

    HTTPnombre del punto final: opcional

    Especifique un nombre fácil de usar para el HTTP punto final. Por ejemplo, My HTTP Endpoint Destination.

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato:https://xyz.httpendpoint.com. URLDebe ser un HTTPSURL.

    Autenticación

    Puede elegir entre introducir la clave de acceso directamente o recuperar el secreto AWS Secrets Manager para acceder al HTTP punto final.

    • (Opcional) Clave de acceso

      Póngase en contacto con el propietario del punto de conexión para obtener la clave de acceso a fin de permitir la entrega de datos en su punto de conexión desde Firehose.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga la clave de acceso del HTTP punto final. Si no ve su secreto en la lista desplegable, cree uno AWS Secrets Manager para la clave de acceso. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Selecciona GZIPo desactiva para activar o desactivar la codificación del contenido de tu solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al punto final seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    importante

    Para los destinos de HTTP punto final, si ves 413 códigos de respuesta del punto final de destino en CloudWatch Logs, reduce el tamaño de la sugerencia de almacenamiento en búfer en tu transmisión de Firehose e inténtalo de nuevo.

Configuración de los ajustes de destino de Datadog

En esta sección se describen las opciones de uso de Datadog como destino. Para obtener más información sobre Datadog, consulta amazon_web_services/. https://docs.datadoghq.com/integrations/

  • Proporcione valores para los siguientes campos.

    HTTPpunto final URL

    Elija dónde desea enviar los datos desde una de las siguientes opciones del menú desplegable.

    • Registros de Datadog - US1

    • Registros de Datadog - US3

    • Registros de Datadog - US5

    • Registros de Datadog - AP1

    • Registros de Datadog: UE

    • Registros de Datadog - GOV

    • Métricas de Datadog: EE. UU.

    • Métricas de Datadog - US5

    • Métricas de Datadog - AP1

    • Métricas de Datadog: UE

    • Configuraciones de Datadog - US1

    • Configuraciones de Datadog - US3

    • Configuraciones de Datadog - US5

    • Configuraciones de Datadog - AP1

    • Configuraciones de Datadog: UE

    • Configuraciones de Datadog: EE. UU. GOV

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto para acceder AWS Secrets Manager a Datadog.

    • APIclave

      Póngase en contacto con Datadog para obtener la API clave que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga la API clave de Datadog. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Selecciona GZIPo desactiva para activar o desactivar la codificación del contenido de tu solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al punto final seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de Honeycomb

En esta sección se describen las opciones de uso de Honeycomb como destino. Para obtener más información acerca de Honeycomb, consulte https://docs.honeycom b. -cloudwatch-metrics/. io/getting-data-in/metrics/aws

  • Proporcione valores para los siguientes campos:

    Punto de conexión entre Honeycomb y Kinesis

    Especifique el formato URL para el HTTP punto final en el siguiente formato: b.io/1/kinesis_events/ {{dataset}} https://api.honeycom

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto para acceder a Honeycomb. AWS Secrets Manager

    • APIclave

      Póngase en contacto con Honeycomb para obtener la API clave que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga la API clave de Honeycomb. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPhabilitar la codificación del contenido de su solicitud. Esta es la opción recomendada para el destino de Honeycomb.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al punto final seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de Coralogix

En esta sección se describen las opciones de uso de Coralogix como destino. Para obtener más información sobre Coralogix, consulte Introducción a Coralogix.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Elija el HTTP punto final URL entre las siguientes opciones del menú desplegable:

    • Coralogix: EE. UU.

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    Autenticación

    Puede elegir entre introducir la clave privada directamente o recuperar el secreto para acceder AWS Secrets Manager a Coralogix.

    • Clave privada

      Póngase en contacto con Coralogix para obtener la clave privada necesaria para permitir la entrega de datos en este punto de conexión desde Firehose.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga la clave privada de Coralogix. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPhabilitar la codificación del contenido de su solicitud. Esta es la opción recomendada para el destino de Coralogix.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al punto final seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    • applicationName: el entorno en el que se ejecuta Data Firehose

    • subsystemName: el nombre de la integración de Data Firehose

    • computerName: el nombre del arroyo Firehose en uso

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía según el proveedor de servicios.

Configuración de los ajustes de destino de Dynatrace

En esta sección se describen las opciones de uso de Dynatrace como destino. Para obtener más información, consulte https://www.dynatrace.com/support/help/technology-support/cloud-platforms/amazon-web-services/integrations/cloudwatch-metric-streams/.

  • Elija opciones para usar Dynatrace como destino de su flujo de Firehose.

    Tipo de ingesta

    Elija si quiere entregar métricas o registros (predeterminado) en Dynatrace para su posterior análisis y procesamiento.

    HTTPpunto final URL

    Elija el HTTP punto final URL (Dynatrace US, Dynatrace EU o Dynatrace Global) en el menú desplegable.

    Autenticación

    Puedes elegir entre introducir el API token directamente o recuperar el secreto para acceder a Dynatrace. AWS Secrets Manager

    • Token de API

      Genera el API token de Dynatrace que necesitas para habilitar la entrega de datos a este punto final desde Firehose. Para obtener más información, consulte Dynatrace API: Tokens y autenticación.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga el API token de Dynatrace. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    API URL

    Proporcione el API URL de su entorno de Dynatrace.

    Codificación de contenidos

    Elija si desea habilitar la codificación de contenido para comprimir el cuerpo de la solicitud. Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Cuando está activado, el contenido se comprime en ese formato. GZIP

    Retry duration

    Especifique durante cuánto tiempo Firehose volverá a intentar enviar los datos al punto final seleccionado. HTTP

    Tras enviar los datos, Firehose espera primero un acuse de recibo del punto final. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Firehose envía datos al HTTP punto final, ya sea durante el intento inicial o después de volver a intentarlo, reinicia el contador de tiempo de espera de confirmación y espera un acuse de recibo del punto final. HTTP

    Aunque se agote el tiempo de reintento, Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. Las sugerencias del búfer incluyen el tamaño y el intervalo del búfer para los flujos. El tamaño del búfer recomendado para el destino varía según el proveedor de servicios.

Configure los ajustes de destino para LogicMonitor

Esta sección describe las opciones de uso de LogicMonitor como destino. Para obtener más información, consulte https://www.logicmonitor.com.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato.

    https://ACCOUNT.logicmonitor.com
    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto desde donde AWS Secrets Manager se accede LogicMonitor.

    • APIclave

      Póngase en contacto con Firehose LogicMonitor para obtener la API clave que necesita para habilitar la entrega de datos a este punto final.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga la API clave. LogicMonitor Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Selecciona GZIPo desactiva para activar o desactivar la codificación del contenido de tu solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al punto final seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de Logz.io

En esta sección se describen las opciones de uso de Logz.io como destino. Para obtener más información, consulte https://logz.io/.

nota

En la región Europa (Milán), Logz.io no se admite como destino de Amazon Data Firehose.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato. URLDebe ser un HTTPSURL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Por ejemplo

    https://listener-aws-metrics-stream-us.logz.io/
    Autenticación

    Puedes elegir entre introducir el token de envío directamente o recuperar el secreto AWS Secrets Manager para acceder a Logz.io.

    • Token de envío

      Póngase en contacto con Logz.io para obtener el token de envío necesario para permitir la entrega de datos en este punto de conexión desde Firehose.

    • Secret

      Selecciona un secreto AWS Secrets Manager que contenga el token de envío de Logz.io. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose reintenta el envío de datos a Logz.io.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de MongoDB Cloud

En esta sección se describen las opciones de uso de MongoDB Cloud como destino. Para obtener más información, consulte https://www.mongodb.com.

  • Proporcione valores para los siguientes campos:

    Webhook de MongoDB Realm URL

    Especifique el URL para el HTTP punto final en el siguiente formato.

    https://webhooks.mongodb-realm.com

    URLDebe ser un HTTPSURL.

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto AWS Secrets Manager para acceder a MongoDB Cloud.

    • APIclave

      Póngase en contacto con MongoDB Cloud para obtener API la clave que necesita para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga la API clave de MongoDB Cloud. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose reintenta el envío de datos al proveedor de terceros seleccionado.

    Tras enviar los datos, Amazon Data Firehose espera primero el acuse de recibo del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

Configuración de los ajustes de destino de New Relic

En esta sección se describen las opciones de uso de New Relic como destino. Para obtener más información, consulte https://newrelic.com.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Elija el HTTP punto final URL entre las siguientes opciones de la lista desplegable.

    • Registros de New Relic: EE. UU.

    • Métricas de New Relic: EE. UU.

    • Métricas de New Relic: UE

    Autenticación

    Puedes elegir entre introducir la API clave directamente o recuperar el secreto AWS Secrets Manager para acceder a New Relic.

    • APIclave

      Ingrese la clave de licencia, que es una cadena hexadecimal de 40 caracteres, en la configuración de la cuenta de New Relic One. Necesita esta API clave para permitir la entrega de datos a este punto final desde Firehose.

    • Secret

      Selecciona un secreto AWS Secrets Manager que contenga la API clave de New Relic. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Selecciona GZIPo desactiva para activar o desactivar la codificación del contenido de tu solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose vuelve a intentar enviar datos al punto final de New Relic. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero una confirmación del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de Snowflake

En esta sección, se describen las opciones de uso de Snowflake como destino.

nota

La integración de Firehose con Snowflake está disponible en EE. UU. Este (Virginia del Norte), EE. UU. Oeste (Oregón), Europa (Irlanda), EE. UU. Este (Ohio), Asia Pacífico (Tokio), Europa (Fráncfort), Asia Pacífico (Singapur), Asia Pacífico (Seúl) y Asia Pacífico (Sídney), Asia Pacífico (Bombay), Europa (Londres), Sudamérica (São Paulo), Canadá (), Europa (París), Asia Pacífico (Osaka), Europa (Estocolmo), Asia Pacífico (Yakarta). Regiones de AWS

Configuraciones de conexión
  • Proporcione valores para los siguientes campos:

    Cuenta Snowflake URL

    Especifique una cuenta de Snowflake. URL Por ejemplo: xy12345.us-east-1.aws.snowflakecomputing.com. Consulte la documentación de Snowflake para saber cómo determinar su cuenta. URL Tenga en cuenta que no debe especificar el número de puerto, y el protocolo (https://) es opcional.

    Autenticación

    Puede elegir entre introducir el nombre de usuario, la clave privada y la contraseña manualmente o recuperar el secreto para acceder a Snowflake. AWS Secrets Manager

    • Inicio de sesión de usuario

      Especifique el usuario de Snowflake que se utilizará para cargar los datos. Asegúrese de que el usuario tenga acceso para insertar datos en la tabla de Snowflake.

    • Clave privada

      Especifique la clave privada para la autenticación con Snowflake en formato PKCS8. Además, no incluya el PEM encabezado ni el pie de página como parte de la clave privada. Si la clave está dividida en varias líneas, elimine los saltos de línea. A continuación, se muestra un ejemplo de cómo debe ser su clave privada.

      -----BEGIN PRIVATE KEY----- KEY_CONTENT -----END PRIVATE KEY-----

      Elimine el espacio en KEY_CONTENT y colóquela en Firehose. No se requieren caracteres de encabezado/pie de página ni de nueva línea.

    • Contraseña

      Especifique la contraseña para descifrar la clave privada cifrada. Puede dejar este campo vacío si la clave privada no está cifrada. Para obtener más información, consulte Uso de la autenticación de pares de claves y la rotación de claves.

    • Secret

      Seleccione un secreto AWS Secrets Manager que contenga las credenciales de Snowflake. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Configuración de roles

    Usar el rol de Snowflake predeterminado: si se selecciona esta opción, Firehose no pasará ningún rol a Snowflake. Se asume que el rol predeterminado carga los datos. Asegúrese de que el rol predeterminado tenga permiso para insertar datos en la tabla de Snowflake.

    Usar un rol de Snowflake personalizado: introduzca un rol de Snowflake no predeterminado para que lo asuma Firehose al cargar datos en la tabla de Snowflake.

    Conexión a Snowflake

    Las opciones son Privada o Pública.

    VPCEID privado (opcional)

    El VPCE identificador de Firehose para conectarse de forma privada con Snowflake. El formato de ID es com.amazonaws.vpce. [región] .vpce-svc-. [id] Para obtener más información, consulte & Snowflake.AWS PrivateLink

    nota

    Si su clúster de Snowflake tiene habilitados los enlaces privados, utilice una política de red basada en AwsVpceIds para permitir los datos de Amazon Data Firehose. Firehose no requiere que configure una política de red basada en IP en su cuenta de Snowflake. Si tiene habilitada una política de red basada en IP, podría interferir con la conectividad de Firehose. En un caso extremo que requiera una política basada en IP, póngase en contacto con el equipo de Firehose enviando un ticket de soporte. Para obtener una lista de los VPCE IDs que puede utilizar, consulte la. Acceso a Snowflake en VPC

Configuración de las bases de datos
  • Debe especificar la siguiente configuración para poder utilizar Snowflake como destino del flujo de Firehose.

    • Base de datos de Snowflake: todos los datos de Snowflake se mantienen en bases de datos.

    • Esquema de Snowflake: cada base de datos consta de uno o más esquemas, que son agrupaciones lógicas de objetos de base de datos, como tablas y vistas.

    • Tabla de Snowflake: todos los datos de Snowflake se almacenan en tablas de bases de datos, estructuradas de forma lógica como conjuntos de columnas y filas.

Opciones de carga de datos para la tabla de Snowflake

  • Utilice JSON las teclas como nombres de columna

  • Usa VARIANT columnas

    • Nombre de la columna de contenido: especifique un nombre de columna en la tabla, donde se deben cargar los datos sin procesar.

    • Nombre de la columna de metadatos (opcional): especifique un nombre de columna en la tabla, donde se debe cargar la información de los metadatos. Al activar este campo, verá la siguiente columna en la tabla Snowflake según el tipo de fuente.

      Para Direct PUT como fuente

      { "firehoseDeliveryStreamName" : "streamname", "IngestionTime" : "timestamp" }

      Para Kinesis Data Stream como fuente

      { "kinesisStreamName" : "streamname", "kinesisShardId" : "Id", "kinesisPartitionKey" : "key", "kinesisSequenceNumber" : "1234", "subsequenceNumber" : "2334", "IngestionTime" : "timestamp" }

Retry duration

Tiempo (entre 0 y 7200 segundos) para que Firehose vuelva a intentarlo si falla la apertura del canal o la entrega a Snowflake debido a problemas con el servicio de Snowflake. Firehose hace reintentos con un retroceso exponencial hasta que finaliza el tiempo de reintento. Si establece la duración del reintento en 0 (cero) segundos, Firehose no lo reintenta tras producirse errores en Snowflake y enruta los datos al bucket de errores de Amazon S3.

Sugerencias de almacenamiento en búfer

Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro. Para obtener más información, consulte Configuración de sugerencias de almacenamiento en búfer.

Configuración de los ajustes de destino de Splunk

Esta sección describe las opciones de uso de Splunk como destino.

nota

Firehose entrega los datos a los clústeres de Splunk configurados con equilibrador de carga clásico o un equilibrador de carga de aplicación.

  • Proporcione valores para los siguientes campos:

    Splunk cluster endpoint

    Para determinar el punto de conexión, consulte Configuración de Amazon Data Firehose para enviar datos a la plataforma Spunk en la documentación de Splunk.

    Splunk endpoint type

    Elija Raw endpoint en la mayoría de los casos. Elija Event endpoint si ha preprocesado sus datos AWS Lambda para enviarlos a diferentes índices por tipo de evento. Para obtener información sobre el punto de conexión que debe utilizar, consulte Configuración de Amazon Kinesis Firehose para enviar datos a la plataforma de Spunk en la documentación de Splunk.

    Autenticación

    Puedes elegir entre introducir el token de autenticación directamente o recuperar el secreto para acceder AWS Secrets Manager a Splunk.

    HECtiempo de espera de confirmación

    Especifique durante cuánto tiempo debe esperar Amazon Data Firehose la confirmación de índices de Splunk. Si Splunk no envía la confirmación antes de que finalice el tiempo de espera, Amazon Data Firehose considera que ha habido un error en la entrega de datos. A continuación, Amazon Data Firehose hace un reintento o crea una copia de seguridad de los datos en el bucket de Amazon S3, según el valor que se haya establecido para el tiempo de reintento.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose reintenta el envío de datos a Splunk.

    Tras enviar los datos, Amazon Data Firehose espera primero una confirmación de Splunk. Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos a Splunk (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que llegue una confirmación de Splunk.

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía según el proveedor de servicios.

Configuración de los ajustes de destino de Splunk Observability Cloud

En esta sección se describen las opciones de uso de Splunk Observability Cloud como destino. Para obtener más información, consulte https://docs.splunk.com/observability/en/gdi/get-data-in/connect/aws/aws-apiconfig.html# - -api connect-to-aws-using. the-splunk-observability-cloud

  • Proporcione valores para los siguientes campos:

    Punto final de Cloud Ingest URL

    Puede encontrar el punto final de ingesta de datos en tiempo real de Splunk Observability Cloud URL en Profile > Organizations > Real-time Data Ingest Endpoint en la consola de Splunk Observability.

    Autenticación

    Puede elegir entre introducir el token de acceso directamente o recuperar el secreto para acceder a Splunk Observability Cloud. AWS Secrets Manager

    • Token de acceso

      Copia tu token de acceso a Splunk Observability con el alcance de la INGEST autorización desde los Tokens de acceso, en la sección Configuración de la consola de Splunk Observability.

    • Secret

      Selecciona un secreto AWS Secrets Manager que contenga el token de acceso a Splunk Observability Cloud. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose volverá a intentar enviar datos al punto final seleccionado. HTTP

    Tras enviar los datos, Amazon Data Firehose espera primero una confirmación del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de Sumo Logic

En esta sección se describen las opciones de uso de Sumo Logic como destino. Para obtener más información, consulte https://www.sumologic.com.

  • Proporcione valores para los siguientes campos:

    HTTPpunto final URL

    Especifique el URL para el HTTP punto final en el siguiente formato:https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. URLDebe ser un HTTPSURL.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Seleccione GZIPo desactive para activar o desactivar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose reintenta el envío de datos a Sumo Logic.

    Tras enviar los datos, Amazon Data Firehose espera primero una confirmación del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño del búfer recomendado para el destino de Elastic varía de un proveedor de servicios a otro.

Configuración de los ajustes de destino de Elastic

En esta sección se describen las opciones de uso de Elastic como destino.

  • Proporcione valores para los siguientes campos:

    Punto final elástico URL

    Especifique el URL para el HTTP punto final en el siguiente formato:https://<cluster-id>.es.<region>.aws.elastic-cloud.com. URLDebe ser un HTTPSURL.

    Autenticación

    Puede elegir entre introducir la API clave directamente o recuperar el secreto AWS Secrets Manager para acceder a Elastic.

    • APIclave

      Ponte en contacto con Elastic para obtener la API clave que necesitas para permitir la entrega de datos a su servicio desde Firehose.

    • Secret

      Selecciona un secreto AWS Secrets Manager que contenga la API clave de Elastic. Si no ve su secreto en la lista desplegable, cree uno en AWS Secrets Manager. Para obtener más información, consulte Autenticate con AWS Secrets Manager Amazon Data Firehose.

    Codificación de contenidos

    Amazon Data Firehose utiliza la codificación de contenidos para comprimir el cuerpo de una solicitud antes de enviarla al destino. Elija GZIP(que es lo que está seleccionado de forma predeterminada) o Inhabilitado para habilitar o deshabilitar la codificación del contenido de su solicitud.

    Retry duration

    Especifique durante cuánto tiempo Amazon Data Firehose reintenta el envío de datos a Elastic.

    Tras enviar los datos, Amazon Data Firehose espera primero una confirmación del punto de conexión. HTTP Si se produce un error o la confirmación no llega dentro del periodo de tiempo de espera de confirmación, Amazon Data Firehose pone en marcha el contador de tiempo de reintento. Continúa intentándolo hasta que se agota el tiempo de reintento. Después de eso, Amazon Data Firehose considera que se trata de un error de entrega de datos y crea una copia de seguridad de los datos en el bucket de Amazon S3.

    Cada vez que Amazon Data Firehose envía datos al HTTP punto de conexión (ya sea en el intento inicial o en un reintento), reinicia el contador de tiempo de espera de confirmación y espera a que el punto de conexión reciba el acuse de recibo. HTTP

    Aunque se agote el tiempo de reintento, Amazon Data Firehose sigue esperando la confirmación hasta que la recibe o hasta que finaliza el periodo de tiempo de espera de confirmación. Si se agota el tiempo de espera de confirmación, Amazon Data Firehose determina si queda tiempo en el contador de reintento. Si queda tiempo, vuelve a intentarlo y repite la lógica hasta que recibe una confirmación o determina que el tiempo de reintento se ha agotado.

    Si no desea que Amazon Data Firehose vuelva a intentar el envío de datos, establezca este valor en 0.

    Parámetros: opcional

    Amazon Data Firehose incluye estos pares clave-valor en cada llamada. HTTP Estos parámetros pueden ayudarlo a identificar y organizar sus destinos.

    Sugerencias de almacenamiento en búfer

    Amazon Data Firehose almacena en búfer los datos de entrada antes de entregarlos en el destino especificado. El tamaño de búfer recomendado para el destino de Elastic es de 1 MiB.