AWS Step Functions를 사용하여 서버리스 Saga 패턴 구현

작성자: Tabby Ward(AWS), Rohan Mehta(AWS) 및 Rimpy Tewani(AWS)

요약

마이크로서비스 아키텍처의 주요 목표는 분리되고 독립적인 구성 요소를 구축하여 애플리케이션의 민첩성, 유연성을 높이고 출시 시간을 단축하는 것입니다. 디커플링의 결과로 각 마이크로서비스 구성 요소에는 자체 데이터 지속성 계층이 있습니다. 분산 아키텍처에서는 비즈니스 트랜잭션이 여러 마이크로서비스에 걸쳐 있을 수 있습니다. 이러한 마이크로서비스는 단일 원자성, 일관성, 격리, 내구성(ACID) 트랜잭션을 사용할 수 없으므로 부분 트랜잭션이 발생할 수 있습니다. 이 경우 이미 처리된 트랜잭션을 취소하려면 일부 제어 로직이 필요합니다. 분산 사가 패턴은 일반적으로 이 목적에 사용됩니다. 

사가 패턴은 분산 애플리케이션의 일관성을 유지하고 여러 마이크로서비스 간의 트랜잭션을 조정하여 데이터 일관성을 유지하는 데 도움이 되는 장애 관리 패턴입니다. 사가 패턴을 사용하면 트랜잭션을 수행하는 모든 서비스가 이벤트를 게시하여 후속 서비스가 체인에서 다음 트랜잭션을 수행하도록 트리거합니다. 이는 체인의 마지막 거래가 완료될 때까지 계속됩니다. 비즈니스 트랜잭션이 실패할 경우, saga는 이전 트랜잭션에서 이루어진 변경 사항을 취소하는 일련의 보상 트랜잭션을 조정합니다.

이 패턴은 AWS Step Functions, AWS Lambda 및 Amazon DynamoDB와 같은 서버리스 기술을 사용하여 샘플 애플리케이션(여행 예약을 처리하는)의 설정 및 배포를 자동화하는 방법을 보여줍니다. 또한 샘플 애플리케이션은 Amazon API Gateway 및 Amazon Simple Notification Service(Amazon SNS)를 사용하여 saga 실행 조정자를 구현합니다. 이 패턴은 AWS 클라우드 개발 키트( ), 서버리스 애플리케이션 모델( ) 또는 Terraform과 같은 코드형 인프라(IaC SAM) 프레임워크와 함께 배포할 수 있습니다.AWS CDK AWS AWS

Saga 패턴 및 기타 데이터 지속성 패턴에 대한 자세한 내용은 AWS 규범적 지침 웹 사이트의 마이크로서비스에서 데이터 지속성 활성화 가이드를 참조하세요.

사전 조건 및 제한 사항

사전 조건 

제품 버전

제한 사항

이벤트 소싱은 모든 구성 요소가 느슨하게 결합되어 있고 서로에 대한 직접적인 지식이 없는 마이크로서비스 아키텍처에서 사가 오케스트레이션 패턴을 구현하는 자연스러운 방법입니다. 트랜잭션이 적은 단계(3~5개)를 포함하는 경우 사가 패턴이 매우 적합할 수 있습니다. 그러나 마이크로서비스 수와 단계 수에 따라 복잡성이 증가합니다. 

이 디자인을 사용하면 트랜잭션 패턴을 시뮬레이션하기 위해 모든 서비스를 실행해야 하므로 테스트 및 디버깅이 어려울 수 있습니다.

아키텍처

대상 아키텍처

제안된 아키텍처는 AWS Step Functions를 사용하여 saga 패턴을 구축하여 항공편을 예약하고, 렌터카를 예약하고, 휴가에 대한 결제를 처리합니다.

다음 워크플로 다이어그램은 여행 예약 시스템의 일반적인 흐름을 보여줍니다. 워크플로는 항공 여행 예약(“ReserveFlight), 차량 예약(“ReserveCarRental”), 결제 처리(“ProcessPayment”), 항공편 예약 확인(“ConfirmFlight”) 및 차량 대여 확인(“ConfirmCarRental”)으로 구성되며, 이 단계가 완료되면 성공 알림이 표시됩니다. 그러나 시스템에서 이러한 트랜잭션을 실행하는 중에 오류가 발생하면 역방향으로 실패하기 시작합니다. 예를 들어 결제 처리(“ProcessPayment”) 오류는 환불(“RefundPayment”)을 트리거한 다음 렌터카 및 항공편(“CancelRentalReservation” 및 “CancelFlightReservation”)의 취소를 트리거하여 실패 메시지로 전체 트랜잭션을 종료합니다.

이 패턴은 다이어그램에 강조 표시된 각 작업에 대해 별도의 Lambda 함수를 배포하고 항공편, 렌터카 및 결제를 위한 3개의 DynamoDB 테이블을 배포합니다. 각 Lambda 함수는 트랜잭션이 확인되었는지 또는 롤백되었는지에 따라 각 DynamoDB 테이블에서 행을 생성, 업데이트 또는 삭제합니다. 이 패턴은 AmazonSNS을 사용하여 구독자에게 텍스트(SMS) 메시지를 전송하여 실패하거나 성공한 트랜잭션을 알립니다. 

자동화 및 규모 조정

IaC 프레임워크 중 하나를 사용하여 이 아키텍처의 구성을 생성할 수 있습니다. 원하는 IaC에 대한 다음 링크 중 하나를 사용합니다.

도구

AWS 서비스

코드

IaC 템플릿(AWS , CDK AWS SAM또는 Terraform), Lambda 함수 및 DynamoDB 테이블을 포함하여 saga 패턴을 보여주는 샘플 애플리케이션의 코드는 다음 링크에서 찾을 수 있습니다. 이를 설치하려면 첫 번째 에픽의 지침을 따르세요.

에픽

npm install

npm run build

npm run watch

npm run test

cdk bootstrap
cdk deploy

sam build
sam deploy --guided

terraform init
terraform apply

cdk diff

sam deploy

terraform plan

cdk destroy

sam delete

terraform destroy

관련 리소스

기술 문서

AWS 서비스 설명서

자습서

추가 정보

코드

테스트 목적으로 이 패턴은 API Gateway와 Step Functions 상태 시스템을 트리거하는 테스트 Lambda 함수를 배포합니다. Step Functions를 사용하면 run_type 파라미터를 전달하여 “,” “,” “ReserveFlight,ReserveCarRental” “ProcessPayment,” “ConfirmFlight,” “의 실패를 모방하여 여행 예약 시스템의 기능을 제어할 수 있습니다ConfirmCarRental.

saga Lambda 함수(sagaLambda.ts)는 API 게이트웨이 의 쿼리 파라미터에서 입력을 가져와서 다음 JSON 객체를 URL생성하고 Step Functions에 전달하여 실행합니다.

let input = {
"trip_id": tripID, //  value taken from query parameter, default is AWS request ID
"depart_city": "Detroit",
"depart_time": "2021-07-07T06:00:00.000Z",
"arrive_city": "Frankfurt",
"arrive_time": "2021-07-09T08:00:00.000Z",
"rental": "BMW",
"rental_from": "2021-07-09T00:00:00.000Z",
"rental_to": "2021-07-17T00:00:00.000Z",
"run_type": runType // value taken from query parameter, default is "success"
};

다음 URL 파라미터를 전달하여 Step Functions 상태 시스템의 다양한 흐름을 실험할 수 있습니다.

IaC 템플릿

연결된 리포지토리에는 전체 샘플 여행 예약 애플리케이션을 생성하는 데 사용할 수 있는 IaC 템플릿이 포함되어 있습니다.

DynamoDB 테이블

항공편, 렌터카, 결제 테이블의 데이터 모델은 다음과 같습니다.

Flight Data Model:
 var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: flightReservationID},
        'trip_id' : {S: event.trip_id},
        'id': {S: flightReservationID},
        'depart_city' : {S: event.depart_city},
        'depart_time': {S: event.depart_time},
        'arrive_city': {S: event.arrive_city},
        'arrive_time': {S: event.arrive_time},
        'transaction_status': {S: 'pending'}
      }
    };

Car Rental Data Model:
var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: carRentalReservationID},
        'trip_id' : {S: event.trip_id},
        'id': {S: carRentalReservationID},
        'rental': {S: event.rental},
        'rental_from': {S: event.rental_from},
        'rental_to': {S: event.rental_to},
        'transaction_status': {S: 'pending'}
      }
    };

Payment Data Model:
var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: paymentID},
        'trip_id' : {S: event.trip_id},
        'id': {S: paymentID},
        'amount': {S: "750.00"}, // hard coded for simplicity as implementing any monetary transaction functionality is beyond the scope of this pattern
        'currency': {S: "USD"},
        'transaction_status': {S: "confirmed"}
      }
    };

Lambda 함수

Step Functions에서 상태 머신 플로우 및 실행을 지원하기 위해 다음 함수가 생성됩니다.

Amazon SNS

샘플 애플리케이션은 SMS 메시지를 보내고 고객에게 성공하거나 실패한 예약에 대해 알리기 위해 다음 주제와 구독을 생성합니다. 샘플 애플리케이션을 테스트하는 동안 문자 메시지를 받으려면 상태 시스템 정의 파일에서 유효한 전화번호로 SMS 구독을 업데이트합니다.

AWS CDK 스니펫(다음 코드의 두 번째 줄에 전화번호 추가):

const topic = new  sns.Topic(this, 'Topic');
topic.addSubscription(new subscriptions.SmsSubscription('+11111111111'));
const snsNotificationFailure = new tasks.SnsPublish(this ,'SendingSMSFailure', {
topic:topic,
integrationPattern: sfn.IntegrationPattern.REQUEST_RESPONSE,
message: sfn.TaskInput.fromText('Your Travel Reservation Failed'),
});
 
const snsNotificationSuccess = new tasks.SnsPublish(this ,'SendingSMSSuccess', {
topic:topic,
integrationPattern: sfn.IntegrationPattern.REQUEST_RESPONSE,
message: sfn.TaskInput.fromText('Your Travel Reservation is Successful'),
});

AWS SAM 스니펫(문자+1111111111열을 유효한 전화번호로 대체):

  StateMachineTopic11111111111:
    Type: 'AWS::SNS::Subscription'
    Properties:
      Protocol: sms
      TopicArn:
        Ref: StateMachineTopic
      Endpoint: '+11111111111'
    Metadata:
      'aws:sam:path': SamServerlessSagaStack/StateMachine/Topic/+11111111111/Resource

Terraform 스니펫(+111111111 문자열을 유효한 전화번호로 대체):

resource "aws_sns_topic_subscription" "sms-target" {
  topic_arn = aws_sns_topic.topic.arn
  protocol  = "sms"
  endpoint  = "+11111111111"
}

성공적인 예약

다음 흐름은 “”ReserveFlight, “”ReserveCarRental, “”, “ProcessPayment”, “”, “”, “ConfirmFlight” 순으로 성공적인 예약을 보여줍니다ConfirmCarRental. SNS 주제 구독자에게 전송되는 SMS 메시지를 통해 성공적인 예약에 대해 고객에게 알립니다.

예약 실패

이 흐름은 사가 패턴의 실패 사례입니다. 항공편 및 렌터카 예약 후 “ProcessPayment”가 실패하면 역순으로 단계가 취소됩니다.  예약이 해제되고 SNS 주제 구독자에게 전송되는 SMS 메시지를 통해 고객에게 실패가 통보됩니다.