Escolha de um SerDe para seus dados

Apache Avro

Um formato para armazenar dados no Hadoop que usa esquemas baseados em JSON para valores de registro.

Use o Avro SerDe.

Apache Parquet

Um formato para armazenamento colunar de dados no Hadoop.

Use o Parquet SerDe e a compactação SNAPPY.

Logs do Apache WebServer

Um formato para armazenar logs no Apache WebServer.

Use o Grok SerDe ou Regex SerDe.

Logs do CloudTrail

Um formato para armazenar logs no CloudTrail.

Comma-Separated Values (CSV – Valores separados por vírgula)

Em dados em formato CSV, cada linha representa um registro de dados, e cada registro consiste em um ou mais campos, separados por vírgulas.

Delimitação personalizada

Em dados nesse formato, cada linha representa um registro de dados, e os registros são separados por um delimitador de caractere único personalizado.

Use o Lazy Simple SerDe para arquivos CSV, TSV e com delimitação personalizada e especifique um delimitador de caractere único personalizado.

JSON (JavaScript Object Notation)

Em dados JSON, cada linha representa um registro de dados, e cada registro consiste em pares de atributo-valor e matrizes, separados por vírgulas.

Logs do Logstash

Um formato para armazenar logs no Logstash.

Use o Grok SerDe.

Optimized Row Columnar (ORC – Colunar de linha otimizada)

Um formato para armazenamento colunar otimizado de dados do Hive.

Use o ORC SerDe e a compactação ZLIB.

Tab-Separated Values (TSB – Valores separados por tabulação)

Em dados em formato TSV, cada linha representa um registro de dados, e cada registro consiste em um ou mais campos, separados por tabulações.

Use o Lazy Simple SerDe para arquivos CSV, TSV e com delimitação personalizada e especifique o caractere separador como FIELDS TERMINATED BY '\t'.