Uso do formato grokLog no AWS Glue
O AWS Glue recupera dados de fontes e grava dados em destinos armazenados e transportados em vários formatos de dados. Se seus dados forem armazenados ou transportados em um formato de texto não criptografado fracamente estruturado, o documento apresenta os recursos disponíveis para usar seus dados no AWS Glue por meio de padrões Grok.
O AWS Glue é compatível com o uso de padrões Grok. Os padrões Grok são semelhantes aos grupos de captura de expressões regulares. Eles reconhecem padrões de sequências de caracteres em um arquivo de texto simples e fornecem um tipo e propósito. No AWS Glue, seu objetivo principal é ler logs. Para ver uma apresentação do Grok feita pelos autores, consulte Logstash Reference: Grok filter plugin
| Leitura | Escrever | Leitura de transmissão | Agrupar arquivos pequenos | Marcadores de trabalho |
|---|---|---|---|---|
| Compatível | Não aplicável | Compatível | Compatível | Sem compatibilidade |
Referência da configuração grokLog
Você pode usar os seguintes valores de format_options com format="grokLog":
logFormat: especifica o padrão Grok que corresponde ao formato de log.customPatterns: especifica outros padrões Grok usados aqui.MISSING: especifica o sinal a ser usado na identificação de valores ausentes. O padrão é'-'.LineCount: especifica o número de linhas em cada registro de log. O padrão é'1', e atualmente somente os registros de linha única são compatíveis.StrictMode: um valor booliano que especifica se o modo estrito está habilitado. No modo estrito, o leitor não faz conversão ou recuperação de tipo automática. O valor padrão é"false".
