AWS Glue Streaming

O AWS Glue Streaming, um componente do AWS Glue, possibilita que você lide com dados de streaming quase em tempo real com eficiência, capacitando-o a realizar tarefas cruciais, como a ingestão de dados, o processamento e o machine learning. Ao usar a estrutura do Apache Spark Streaming, o AWS Glue Streaming fornece um serviço sem servidor que pode lidar com dados de streaming em escala. O AWS Glue disponibiliza diversas otimizações além do Apache Spark, como infraestrutura sem servidor, ajuste de escala automático, desenvolvimento visual de trabalhos, cadernos instantâneos para trabalhos de streaming e outros aprimoramentos de performance.

Casos de uso para o streaming

Alguns casos de uso comuns para o AWS Glue Streaming incluem:

Processamento de dados quase em tempo real: o AWS Glue Streaming permite que as organizações processem dados de streaming quase em tempo real, permitindo-lhes obter insights e tomar decisões oportunas com base nas informações mais recentes.

Detecção de fraudes: é possível utilizar o AWS Glue Streaming para realizar análises em tempo real de dados de streaming, tornando-o valioso para a detecção de atividades fraudulentas, como a fraude de um cartão de crédito, a invasão de rede ou as fraudes on-line. Ao processar e analisar continuamente os dados de entrada, você pode identificar rapidamente padrões ou anomalias suspeitas.

Analytics de mídia social: o AWS Glue Streaming pode processar dados de mídia social em tempo real, como tweets, publicações ou comentários, possibilitando que as organizações monitorem tendências, analisem sentimentos e gerenciem a reputação da marca em tempo real.

Analytics da Internet das Coisas (IoT): o AWS Glue Streaming é adequado para analisar e lidar com fluxos de dados de alta velocidade gerados por dispositivos de IoT, sensores e máquinas conectadas. Ele permite o monitoramento em tempo real, a detecção de anomalias, a manutenção preditiva e outros casos de uso de analytics da IoT.

Análise de fluxo de cliques: o AWS Glue Streaming pode processar e analisar dados de fluxo de cliques em tempo real de sites ou de aplicações móveis. Isso possibilita que as empresas obtenham insights sobre o comportamento do usuário, personalizem as experiências do usuário e otimizem campanhas de marketing com base em dados de fluxo de cliques em tempo real.

Monitoramento e análise de log: o AWS Glue Streaming pode processar e analisar continuamente os dados de log de servidores, aplicações ou dispositivos de rede em tempo real. Isso ajuda a detectar anomalias, solucionar problemas e monitorar a integridade e a performance do sistema.

Sistemas de recomendação: o AWS Glue Streaming pode processar dados de atividades do usuário em tempo real e atualizar os modelos de recomendação de forma dinâmica. Isso permite recomendações personalizadas e em tempo real com base no comportamento e nas preferências do usuário.

Esses são alguns exemplos da diversidade de casos de uso em que o AWS Glue Streaming pode ser aplicado. Sua integração com o ecossistema e os serviços gerenciados da AWS o torna uma escolha conveniente para o processamento e para a analytics de fluxo em tempo real na nuvem.

Quais são os benefícios do uso do AWS Glue Streaming?

Os benefícios do uso do AWS Glue Streaming são os seguintes:

Quando devo usar o AWS Glue Streaming?

Existem muitas opções quando se trata de casos de uso de streaming. Recomendamos o uso do streaming do AWS Glue nos cenários apresentados a seguir.

Fontes de dados compatíveis

AWS GlueO Streaming oferece suporte às seguintes fontes de dados:

Destinos de dados com suporte

AWS GlueO Streaming oferece suporte para uma variedade de destinos de dados, como:

Habilitar o modo de tempo real para trabalhos de streaming

O modo de tempo real (RTM) é um novo modelo de execução do Spark Structured Streaming disponível no AWS Glue versão 6.0. O RTM reduz a latência de ponta a ponta de segundos ou minutos para menos de um segundo. O modo de tempo real se aplica somente aos trabalhos do Spark Structured Streaming. Ele não se aplica ao Spark Streaming antigo (DStreams) ou a outros tipos de trabalho.

O RTM usa Trigger.RealTime. As tarefas são executadas continuamente em uma janela de lote (padrão de cinco minutos) e processam os registros à medida que chegam, em vez de acumular dados entre os intervalos. Isso difere do modelo de microlote padrão, em que forEachBatch/Trigger.ProcessingTime pesquisa, processa, confirma e reinicia tarefas a cada intervalo.

Pré-requisitos

Antes de habilitar o modo de tempo real, confirme se o trabalho atende aos seguintes requisitos:

Quando usar o modo de tempo real

O modo de tempo real foi projetado para uma classe específica de workloads de streaming. Considere o uso do modo em tempo real quando:

Continue usando o modo de microlote quando:

Como o modo de tempo real funciona

A seguir, descrevemos a diferença entre o modo de microlote e o modo de tempo real:

Ambos os modos usam o mesmo formato de ponto de verificação e mecanismo de recuperação. A principal diferença é a vida útil da tarefa. O modo de microlote encerra e reinicia as tarefas a cada intervalo. O modo de tempo real mantém as tarefas em execução contínua dentro de uma janela de lote maior.

Para habilitar o modo de tempo real

Você habilita o modo em tempo real definindo o argumento do trabalho --enable-real-time-mode como true. É possível definir esse argumento no console do AWS Glue ou por meio da API.

Para habilitar o modo de tempo real (console)

Para habilitar o modo de tempo real (API)

O sinalizador --enable-real-time-mode é armazenado no mapa DefaultArguments da definição do trabalho. É possível configurá-lo ao criar ou atualizar um trabalho.

Para criar um novo trabalho (AWS CLI)

Execute o seguinte comando:

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

Para criar um novo trabalho (boto3)

Use o seguinte código:

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

Para atualizar um trabalho existente (AWS CLI)

Execute o seguinte comando:

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

Escrever o script de streaming

O argumento do trabalho declara a intenção de usar o modo de tempo real. O script seleciona o acionador.

O seguinte exemplo em Scala mostra uma consulta de streaming que usa Trigger.RealTime:

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

O Trigger.RealTime usa um intervalo de ponto de verificação em milissegundos. O modo de saída da atualização é obrigatório. O modo de adição gera OUTPUT_MODE_NOT_SUPPORTED.

Você pode misturar modos em um script, desde que o sinalizador seja definido:

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

Comportamento quando não há sinalizador

A seguir é descrito como o trabalho se comporta quando o sinalizador --enable-real-time-mode não é definido:

Considerações e limitações

Considere o seguinte quando usar o modo de tempo real: