AWS Glue 스트리밍

AWS Glue의 구성 요소인 AWS Glue 스트리밍을 통해 거의 실시간으로 스트리밍 데이터를 효율적으로 처리하여 데이터 모으기, 처리, 기계 학습과 같은 중요한 작업을 수행할 수 있습니다. AWS Glue Streaming은 Apache Spark Streaming 프레임워크를 사용하여 스트리밍 데이터를 대규모로 처리할 수 있는 서버리스 서비스를 제공합니다. AWS Glue는 Apache Spark를 기반으로 서버리스 인프라, 자동 크기 조정, 시각적 작업 개발, 스트리밍 작업을 위한 인스턴트 온 노트북 및 기타 성능 개선과 같은 다양한 최적화를 제공합니다.

스트리밍 사용 사례

다음은 AWS Glue 스트리밍의 일반적인 사용 사례입니다.

실시간에 가까운 데이터 처리: AWS Glue 스트리밍을 통해 조직은 스트리밍 데이터를 거의 실시간으로 처리하여 최신 정보를 기반으로 인사이트를 얻고 시기적절한 결정을 내릴 수 있습니다.

사기 탐지: AWS Glue 스트리밍 데이터의 실시간 분석을 위해 스트리밍을 활용하면 신용 카드 사기, 네트워크 침입 또는 온라인 사기와 같은 사기 행위를 탐지하는 데 유용합니다. 수신 데이터를 지속적으로 처리하고 분석하여 의심스러운 패턴이나 이상 징후를 신속하게 식별할 수 있습니다.

소셜 미디어 분석: AWS Glue 스트리밍을 통해 트윗, 게시물, 댓글 등의 실시간 소셜 미디어 데이터를 처리할 수 있으므로 조직은 추세를 모니터링하고, 감정 분석을 하고, 브랜드 평판을 실시간으로 관리할 수 있습니다.

사물 인터넷(IoT) 분석: AWS Glue 스트리밍은 IoT 디바이스, 센서 및 연결된 기계에서 생성되는 고속 데이터 스트림을 처리하고 분석하는 데 적합합니다. 이는 실시간 모니터링, 이상 탐지, 예측 유지 보수 및 기타 IoT 분석 사용 사례를 지원합니다.

클릭스트림 분석: AWS Glue 스트리밍은 웹 사이트 또는 모바일 애플리케이션의 실시간 클릭스트림 데이터를 처리하고 분석할 수 있습니다. 이를 통해 기업은 사용자 행동에 대한 인사이트를 얻고, 사용자 경험을 개인화하고, 실시간 클릭스트림 데이터를 기반으로 마케팅 캠페인을 최적화할 수 있습니다.

로그 모니터링 및 분석: AWS Glue 스트리밍은 서버, 애플리케이션 또는 네트워크 디바이스의 로그 데이터를 실시간으로 지속적으로 처리하고 분석할 수 있습니다. 이는 이상을 탐지하고, 문제를 해결하고, 시스템 상태와 성능을 모니터링하는 데 도움이 됩니다.

추천 시스템: AWS Glue 스트리밍은 사용자 활동 데이터를 실시간으로 처리하고 추천 모델을 동적으로 업데이트할 수 있습니다. 이를 통해 사용자 행동 및 기본 설정을 기반으로 개인화된 실시간 추천이 가능합니다.

다음은 AWS Glue 스트리밍을 적용할 수 있는 다양한 사용 사례의 몇 가지 예제입니다. AWS 에코시스템 및 관리형 서비스와의 통합으로 클라우드에서 실시간 스트림 처리 및 분석을 위한 편리한 선택이 됩니다.

AWS Glue 스트리밍 사용의 이점은 무엇인가요?

다음은 AWS Glue 스트리밍 사용의 이점입니다.

AWS Glue 스트리밍은 언제 사용하나요?

스트리밍 사용 사례에는 여러 가지 옵션이 있습니다. 다음 시나리오에서는 AWS Glue 스트리밍을 권장합니다.

지원되는 데이터 원본

AWS Glue 스트리밍에서 지원되는 데이터 소스는 다음과 같습니다.

지원되는 데이터 대상

AWS Glue 스트리밍은 다음과 같은 다양한 데이터 대상을 지원합니다.

스트리밍 작업에 대한 실시간 모드 활성화

실시간 모드(RTM)는 AWS Glue 6.0에서 사용할 수 있는 Spark Structured Streaming을 위한 새로운 실행 모델입니다. RTM은 엔드 투 엔드 지연 시간을 몇 초 또는 몇 분에서 1초 미만으로 줄입니다. 실시간 모드는 Spark Structured Streaming 작업에만 적용됩니다. 레거시 Spark Streaming(DStreams) 또는 기타 작업 유형에는 적용되지 않습니다.

RTM은 Trigger.RealTime을 사용합니다. 작업은 배치 기간(기본 5분) 내에 지속적으로 실행되며 여러 간격에 걸쳐 데이터를 누적하지 않고 레코드가 도착하는 대로 처리합니다. 이는 forEachBatch/Trigger.ProcessingTime이 각 간격마다 작업을 폴링, 처리, 커밋, 재시작하는 기본 마이크로 배치 모델과 다릅니다.

사전 조건

실시간 모드를 활성화하기 전에 작업이 다음 요구 사항을 충족하는지 확인하세요.

실시간 모드를 사용해야 하는 경우

실시간 모드는 특정 스트리밍 워크로드 클래스를 위해 설계되었습니다. 다음과 같은 경우 실시간 모드를 사용하는 것이 좋습니다.

다음과 같은 경우 마이크로 배치 모드를 계속 사용합니다.

실시간 모드 작동 방식

다음에서는 마이크로 배치 모델과 실시간 모드의 차이점을 설명합니다.

두 모드 모두 동일한 체크포인트 형식과 복구 메커니즘을 사용합니다. 주요 차이점은 작업 수명입니다. 마이크로 배치 모드는 간격마다 작업을 종료했다가 다시 시작합니다. 실시간 모드는 더 긴 배치 기간 내에서 작업을 지속적으로 실행합니다.

실시간 모드를 활성화하려면

--enable-real-time-mode 작업 인수를 true로 설정하여 실시간 모드를 활성화합니다. AWS Glue 콘솔 또는 API를 통해 이 인수를 설정할 수 있습니다.

실시간 모드를 활성화하려면(콘솔)

실시간 모드를 활성화하려면(API)

--enable-real-time-mode 플래그는 작업 정의의 DefaultArguments 맵에 저장됩니다. 작업을 생성하거나 업데이트할 때 이 플래그를 설정할 수 있습니다.

새 작업을 생성하려면(AWS CLI)

다음 명령을 실행합니다.

aws glue create-job \
  --name my-rtm-job \
  --role arn:aws:iam::123456789012:role/MyGlueRole \
  --glue-version 6.0 \
  --worker-type G.1X --number-of-workers 4 \
  --command '{"Name":"gluestreaming","ScriptLocation":"s3://my-bucket/scripts/rtm-job.scala"}' \
  --default-arguments '{
      "--enable-real-time-mode": "true",
      "--job-language": "scala",
      "--class": "GlueApp",
      "--TempDir": "s3://my-bucket/tmp/"
  }' \
  --region us-east-2

새 작업을 생성하려면(boto3)

다음 코드를 사용합니다.

import boto3

glue = boto3.client("glue", region_name="us-east-2")

glue.create_job(
    Name="my-rtm-job",
    Role="arn:aws:iam::123456789012:role/MyGlueRole",
    GlueVersion="6.0",
    WorkerType="G.1X",
    NumberOfWorkers=4,
    Command={
        "Name": "gluestreaming",
        "ScriptLocation": "s3://my-bucket/scripts/rtm-job.scala",
    },
    DefaultArguments={
        "--enable-real-time-mode": "true",
        "--job-language": "scala",
        "--class": "GlueApp",
        "--TempDir": "s3://my-bucket/tmp/",
    },
)

기존 작업을 업데이트하려면(AWS CLI)

다음 명령을 실행합니다.

aws glue update-job \
  --job-name my-existing-job \
  --job-update '{
      "GlueVersion": "6.0",
      "DefaultArguments": {
          "--enable-real-time-mode": "true",
          "--job-language": "scala"
      }
  }'

스트리밍 스크립트 작성

작업 인수는 실시간 모드를 사용하려는 의도를 선언합니다. 스크립트가 트리거를 선택합니다.

다음 Scala 예제는 Trigger.RealTime을 사용하는 스트리밍 쿼리를 보여줍니다.

import org.apache.spark.sql.streaming.Trigger

val query = df.writeStream
  .format("kafka")
  .outputMode("update")
  .trigger(Trigger.RealTime(60000L))  // checkpoint interval in milliseconds
  .start()

query.awaitTermination()

Trigger.RealTime은 밀리초 단위의 체크포인트 간격을 사용합니다. 출력 모드 업데이트가 필요합니다. 추가 모드는 OUTPUT_MODE_NOT_SUPPORTED를 발생시킵니다.

플래그가 설정되어 있는 한 하나의 스크립트에서 모드를 혼합할 수 있습니다.

dfA.writeStream.outputMode("update").trigger(Trigger.RealTime(60000L)).start()
dfB.writeStream.outputMode("append").trigger(Trigger.ProcessingTime("30 seconds")).start()

플래그가 누락된 경우의 동작

다음에서는 --enable-real-time-mode 플래그가 설정되지 않은 경우 작업이 작동하는 방식을 설명합니다.

고려 사항 및 제한

실시간 모드를 사용할 때 다음 사항을 고려하세요.