Conversión del formato de los datos de entrada en Amazon Data Firehose - Amazon Data Firehose
DeserializerEsquemaSerializer

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conversión del formato de los datos de entrada en Amazon Data Firehose

Amazon Data Firehose puede convertir el formato de los datos de entrada de JSON a Apache Parquet o Apache ORC antes de almacenarlos en Amazon S3. Parquet y ORC son formatos de datos en columnas que ahorran espacio y permiten unas búsquedas más rápidas en comparación con los formatos orientados a filas como JSON. Si desea convertir un formato de entrada distinto de JSON, como valores separados por comas (CSV) o texto estructurado, puede utilizar AWS Lambda para transformarlo primero a JSON. Para obtener más información, consulte Transformación de los datos de origen en Amazon Data Firehose.

Puede convertir el formato de los datos incluso si agrega los registros antes de enviarlos a Amazon Data Firehose.

Amazon Data Firehose requiere los tres elementos siguientes para convertir el formato de los datos de los registros:

Deserializer

Amazon Data Firehose requiere un deserializador para leer el JSON de los datos de entrada. Puede elegir uno de los siguientes dos tipos de deserializador:

Al combinar varios documentos JSON en el mismo registro, asegúrese de que la entrada siga presentándose en el formato JSON compatible. Una matriz de documentos JSON no es una entrada válida.

Por ejemplo, esta es la entrada correcta: {"a":1}{"a":2}

Y esta es la entrada incorrecta: [{"a":1}, {"a":2}]

Elija el SerDe JSON de OpenX si el JSON de entrada contiene marcas temporales en los formatos siguientes:

  • aaaa-MM-dd'T'HH:mm:ss[.S]'Z', donde la fracción puede tener hasta 9 dígitos: por ejemplo, 2017-02-07T15:13:01.39256Z.

  • aaaa-[M]M-[d]d HH:mm:ss[.S], donde la fracción puede tener hasta 9 dígitos: por ejemplo, 2017-02-07 15:13:01.14.

  • Segundos epoch: por ejemplo, 1518033528.

  • Milisegundos epoch: por ejemplo, 1518033528123.

  • Segundos epoch con número de punto flotante: por ejemplo, 1518033528.123.

El SerDe JSON de OpenX puede convertir puntos (.) en guiones bajos (_). También puede convertir claves JSON a minúsculas antes de deserializarlas. Para obtener más información sobre las opciones disponibles con este deserializador a través de Amazon Data Firehose, consulte OpenXJsonSerDe.

Si no está seguro de qué deserializador elegir, utilice el SerDe JSON de OpenX, a menos que tenga marcas temporales que este no admita.

Si tiene marcas temporales en un formato distinto de los que se han mostrado anteriormente, utilice el SerDe JSON de Apache Hive. Si elige este deserializador, puede especificar los formatos de marca temporal que va a utilizar. Para ello, siga la sintaxis de los patrones de las cadenas de formato DateTimeFormat de Joda-Time. Para obtener más información, consulte Class DateTimeFormat.

También puede utilizar el valor especial millis para analizar las marcas temporales en milisegundos con formato de tiempo Unix. Si no especifica un formato, Amazon Data Firehose utiliza java.sql.Timestamp::valueOf de forma predeterminada.

El SerDe JSON de Hive no permite lo siguiente:

  • Puntos (.) en los nombres de las columnas.

  • Campos cuyo tipo sea uniontype.

  • Campos que tienen tipos numéricos en el esquema, pero que son cadenas en el JSON. Por ejemplo, si el esquema es (un entero) y el JSON es {"a":"123"}, el SerDe de Hive genera un error.

El SerDe de Hive no convierte JSON anidado en cadenas. Por ejemplo, si se tiene {"a":{"inner":1}}, no trata {"inner":1} como una cadena.

Esquema

Amazon Data Firehose requiere un esquema para determinar cómo interpretar esos datos. Utilice AWS Glue para crear un esquema en AWS Glue Data Catalog. Amazon Data Firehose hará referencia a ese esquema y lo usará para interpretar los datos de entrada. Puede utilizar el mismo esquema para configurar tanto Amazon Data Firehose como el software de análisis. Para obtener más información, consulte Rellenar el Catálogo de datos de AWS Glue en la Guía para desarrolladores de AWS Glue.

nota

El esquema creado en el Catálogo de datos de AWS Glue debe coincidir con la estructura de los datos de entrada. De lo contrario, los datos convertidos no contendrán atributos que no estén especificados en el esquema. Si utiliza un JSON anidado, utilice un tipo STRUCT en el esquema que refleje la estructura de los datos JSON. Consulte este ejemplo para ver cómo gestionar un JSON anidado con un tipo STRUCT.

importante

En el caso de los tipos de datos que no especifican un límite de tamaño, existe un límite práctico de 32 MB para todos los datos de una sola fila.

Si especifica la longitud para CHAR o VARCHAR, Firehose trunca las cadenas a la longitud especificada cuando lee los datos de entrada. Si la cadena de datos subyacente es más larga, permanece sin cambios.

Serializer

Firehose requiere un serializador para convertir los datos al formato de almacenamiento en columnas de destino (Parquet u ORC): puede elegir entre uno de los dos tipos de serializadores.

El serializador que elija depende de sus necesidades empresariales. Para obtener más información sobre las dos opciones de serializador, consulte ORC SerDe y Parquet SerDe.