AWS GlueTransmisión de

La transmisión de AWS Glue, un componente de AWS Glue, le permite gestionar de manera eficiente los datos de transmisión casi en tiempo real, lo que le da la posibilidad de llevar a cabo tareas cruciales como la ingesta de datos, el procesamiento y el machine learning. Mediante el uso del marco de transmisión de Apache Spark, la transmisión de AWS Glue proporciona un servicio sin servidor que puede gestionar datos de transmisión a gran escala. AWS Glue proporciona varias optimizaciones además de Apache Spark, como la infraestructura sin servidor, el escalado automático, el desarrollo visual de los trabajos, los cuadernos instantáneos para los trabajos de transmisión y otras mejoras de rendimiento.

Casos de uso de la transmisión

Algunos casos de uso comunes para la transmisión de AWS Glue son los siguientes:

Procesamiento de datos casi en tiempo real: la transmisión de AWS Glue permite a las organizaciones procesar los datos de transmisión casi en tiempo real, lo que les da la posibilidad de obtener información y tomar decisiones oportunas en función de la información más reciente.

Detección de fraudes: puede usar la transmisión de AWS Glue para analizar en tiempo real los datos de transmisión, lo que lo convierte en una herramienta valiosa para detectar actividades fraudulentas, como el fraude con tarjetas de crédito, la intrusión en la red o las estafas en línea. Al procesar y analizar continuamente los datos entrantes, puede identificar rápidamente patrones o anomalías sospechosos.

Análisis de redes sociales: la transmisión de AWS Glue puede procesar datos de redes sociales en tiempo real, como tuits, publicaciones o comentarios, lo que permite a las organizaciones supervisar las tendencias, analizar las opiniones y gestionar la reputación de la marca en tiempo real.

Análisis del Internet de las cosas (IoT): la transmisión de AWS Glue es adecuado para gestionar y analizar los flujos de datos de alta velocidad que se generan en dispositivos, sensores y maquinaria conectada de IoT. Permite la supervisión en tiempo real, la detección de anomalías, el mantenimiento predictivo y otros casos de uso de análisis de IoT.

Análisis del flujo de clics: la transmisión de AWS Glue puede procesar y analizar los datos del flujo de clics procedentes de sitios web o aplicaciones móviles en tiempo real. Esto permite a las empresas obtener información acerca del comportamiento de los usuarios, personalizar las experiencias de los usuarios y optimizar las campañas de marketing según los datos del flujo de clics en tiempo real.

Supervisión y análisis de registros: la transmisión de AWS Glue puede procesar y analizar de manera continua los datos del registro de servidores, aplicaciones o dispositivos de red en tiempo real. Esto ayuda a detectar anomalías, solucionar problemas y supervisar el estado y el rendimiento del sistema.

Sistemas de recomendación: la transmisión de AWS Glue puede procesar los datos de actividad de los usuarios en tiempo real y actualizar los modelos de recomendación de forma dinámica. Esto permite realizar recomendaciones personalizadas y en tiempo real en función del comportamiento y las preferencias de los usuarios.

Estos son algunos ejemplos de la amplia gama de casos de uso en los que se puede aplicar la transmisión de AWS Glue. Su integración con el ecosistema de AWS y los servicios administrados lo convierten en una opción práctica para el procesamiento y el análisis de flujos en tiempo real en la nube.

¿Cuáles son los beneficios de usar la transmisión de AWS Glue?

Los beneficios de usar la transmisión de AWS Glue son los siguientes:

¿Cuándo conviene usar la transmisión de AWS Glue?

Hay muchas opciones en lo que respecta a los casos de uso de la transmisión. Recomendamos el uso de la transmisión de AWS Glue en las siguientes situaciones:

Orígenes de datos admitidos

AWS GlueLa transmisión de admite los siguientes orígenes de datos:

Destinos de datos admitidos

AWS GlueLa transmisión de admite una variedad de destinos de datos, como los siguientes:

Activación del modo en tiempo real para trabajos de transmisión

El modo en tiempo real (RTM) es un nuevo modelo de ejecución para Spark Structured Streaming disponible en AWS Glue 6.0. RTM reduce la latencia de extremo a extremo de segundos o minutos a menos de un segundo. El modo en tiempo real solo se aplica a los trabajos de Spark Structured Streaming. No se aplica a los trabajos antiguos de Spark Streaming (DStreams) ni a otros tipos de trabajos.

RTM usa Trigger.RealTime. Las tareas se ejecutan de forma continua dentro de un intervalo de lotes (por defecto, 5 minutos) y procesan los registros a medida que llegan en lugar de acumular datos a intervalos. Esto difiere del modelo de microlotes predeterminado, en el que forEachBatch/Trigger.ProcessingTime sondea, procesa, confirma y reinicia las tareas en cada intervalo.

Requisitos previos

Antes de activar el modo en tiempo real, confirme que su trabajo cumpla los siguientes requisitos:

Cuándo usar el modo en tiempo real

El modo en tiempo real está diseñado para una clase específica de cargas de trabajo de transmisión. Considere usar el modo en tiempo real cuando:

Siga utilizando el modo de microlotes cuando:

Funcionamiento del modo en tiempo real

A continuación se describe la diferencia entre el modelo de microlotes y el modo en tiempo real:

Ambos modos utilizan el mismo formato de punto de control y el mismo mecanismo de recuperación. La diferencia clave es la duración de la tarea. El modo de microlotes finaliza y vuelve a lanzar las tareas en cada intervalo. El modo en tiempo real permite que las tareas se ejecuten de forma continua dentro de un intervalo de lotes más largo.

Activación del modo en tiempo real

Para activar el modo en tiempo real, establezca el argumento de trabajo --enable-real-time-mode en true. Puede establecer este argumento en la consola de AWS Glue o mediante la API.

Activación del modo en tiempo real (consola)

Activación del modo en tiempo real (API)

La marca --enable-real-time-mode se almacena en el mapa DefaultArguments de la definición del trabajo. Puede configurarla al crear o actualizar un trabajo.

Creación de un nuevo trabajo (AWS CLI)

Use el siguiente comando:

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

Creación de un nuevo trabajo (boto3)

Utilice el siguiente código:

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

Actualización de un trabajo existente (AWS CLI)

Use el siguiente comando:

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

Escritura del script de transmisión

El argumento del trabajo declara la intención de utilizar el modo en tiempo real. El script selecciona el activador.

En el siguiente ejemplo de Scala se muestra una consulta de transmisión que utiliza Trigger.RealTime:

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTime toma un intervalo de punto de control en milisegundos. El modo de salida de actualización es obligatorio. El modo de anexión genera OUTPUT_MODE_NOT_SUPPORTED.

Puede mezclar modos en un script siempre y cuando la marca esté definida:

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

Comportamiento cuando falta la marca

A continuación se describe cómo se comporta el trabajo cuando la marca --enable-real-time-mode no está establecida:

Consideraciones y limitaciones

Cuando utilice el modo en tiempo real, tenga en cuenta lo siguiente: