AWS Step Functions을 사용하여 서버리스 사가 패턴 구현

작성자: Tabby Ward(AWS), Rohan Mehta(AWS), Rimpy Tewani(AWS)

요약

마이크로서비스 아키텍처의 주요 목표는 분리되고 독립적인 구성 요소를 구축하여 애플리케이션의 민첩성, 유연성을 높이고 출시 시간을 단축하는 것입니다. 디커플링의 결과로 각 마이크로서비스 구성 요소에는 자체 데이터 지속성 계층이 있습니다. 분산 아키텍처에서는 비즈니스 트랜잭션이 여러 마이크로서비스에 걸쳐 있을 수 있습니다. 이러한 마이크로서비스는 단일 원자성, 일관성, 격리성, 내구성(ACID) 트랜잭션을 사용할 수 없으므로 부분 트랜잭션으로 끝날 수 있습니다. 이 경우 이미 처리된 트랜잭션을 취소하려면 일부 제어 로직이 필요합니다. 분산 사가 패턴은 일반적으로 이 목적에 사용됩니다. 

사가 패턴은 분산 애플리케이션의 일관성을 유지하고 여러 마이크로서비스 간의 트랜잭션을 조정하여 데이터 일관성을 유지하는 데 도움이 되는 장애 관리 패턴입니다. 사가 패턴을 사용하면 트랜잭션을 수행하는 모든 서비스가 이벤트를 게시하여 후속 서비스가 체인에서 다음 트랜잭션을 수행하도록 트리거합니다. 이는 체인의 마지막 거래가 완료될 때까지 계속됩니다. 비즈니스 트랜잭션이 실패할 경우, saga는 이전 트랜잭션에서 이루어진 변경 사항을 취소하는 일련의 보상 트랜잭션을 조정합니다.

이 패턴은 AWS Step Functions, AWS Lambda 및 Amazon DynamoDB와 같은 서버리스 기술을 사용하여 (여행 예약을 처리하는) 샘플 애플리케이션의 설정 및 배포를 자동화하는 방법을 보여줍니다. 또한 샘플 애플리케이션에서는 사가 실행 코디네이터를 구현하기 위해 Amazon API Gateway와 Amazon Simple Notification Service(SNS)를 사용합니다. 패턴은 AWS Cloud Development Kit(AWS CDK), AWS Serverless Application Model AWS SAM) 또는 Terraform과 같은 코드형 인프라(IaC) 프레임워크와 함께 배포할 수 있습니다.

사가 패턴 및 기타 데이터 지속성 패턴에 대한 자세한 내용은 AWS 권장 가이드 웹사이트의 마이크로서비스에서 데이터 지속성 활성화 가이드를 참조하세요.

사전 조건 및 제한 사항

사전 조건 

제품 버전

제한 사항

이벤트 소싱은 모든 구성 요소가 느슨하게 결합되어 있고 서로에 대한 직접적인 지식이 없는 마이크로서비스 아키텍처에서 사가 오케스트레이션 패턴을 구현하는 자연스러운 방법입니다. 트랜잭션이 적은 단계(3~5개)를 포함하는 경우 사가 패턴이 매우 적합할 수 있습니다. 그러나 마이크로서비스 수와 단계 수에 따라 복잡성이 증가합니다. 

이 디자인을 사용하면 트랜잭션 패턴을 시뮬레이션하기 위해 모든 서비스를 실행해야 하므로 테스트 및 디버깅이 어려울 수 있습니다.

아키텍처

대상 아키텍처

제안된 아키텍처는 AWS Step Functions를 사용하여 항공편을 예약하고, 렌터카를 예약하고, 휴가에 대한 결제를 처리하는 사가 패턴을 구축합니다.

다음 워크플로 다이어그램은 여행 예약 시스템의 일반적인 흐름을 보여줍니다. 워크플로는 항공 여행 예약 (“ReserveFlight”), 자동차 예약 (“ReserveCarRental”), 결제 처리 (“ProcessPayment”), 항공편 예약 확인 (“ConfirmFlight”), 렌터카 확인 (“ConfirmCarRental”) 으로 구성되며, 이 단계가 완료되면 성공 알림이 표시됩니다. 그러나 시스템에서 이러한 트랜잭션을 실행하는 중에 오류가 발생하면 역방향으로 실패하기 시작합니다. 예를 들어 결제 처리 중 오류 (“ProcessPayment”) 가 발생하면 환불 (“RefundPayment”) 이 시작되고, 그러면 렌터카 및 항공편 (“CancelRentalReservation” 및 “CancelFlightReservation”) 이 취소되고, 실패 메시지와 함께 전체 거래가 종료됩니다.

이 패턴은 다이어그램에 강조 표시된 각 작업에 대해 별도의 Lambda 함수를 배포하고 항공편, 렌터카 및 결제를 위한 3개의 DynamoDB 테이블을 배포합니다. 각 Lambda 함수는 트랜잭션이 확인되었는지 또는 롤백되었는지에 따라 각 DynamoDB 테이블에서 행을 생성, 업데이트 또는 삭제합니다. 이 패턴은 Amazon SNS를 사용하여 구독자에게 트랜잭션 실패 또는 성공을 알리는 문자(SMS) 메시지를 전송합니다. 

자동화 및 규모 조정

IaC 프레임워크 중 하나를 사용하여 이 아키텍처의 구성을 생성할 수 있습니다. 원하는 IaC에 대한 다음 링크 중 하나를 사용합니다.

도구

서비스

코드

IaC 템플릿(AWS CDK, AWS SAM 또는 Terraform), Lambda 함수 및 DynamoDB 테이블을 포함하여 사가 패턴을 보여주는 샘플 애플리케이션의 코드는 다음 링크에서 찾을 수 있습니다. 이를 설치하려면 첫 번째 에픽의 지침을 따르세요.

에픽

npm install

npm run build

npm run watch

npm run test

cdk bootstrap
cdk deploy

sam build
sam deploy --guided

terraform init
terraform apply

cdk diff

sam deploy

terraform plan

cdk destroy

sam delete

terraform destroy

관련 리소스

기술 문서

AWS 서비스 설명서

자습서

추가 정보

코드

테스트 목적으로 이 패턴은 API Gateway와 Step Functions 상태 머신을 트리거하는 테스트 Lambda 함수를 배포합니다. Step Functions를 사용하면 “,”, “,” “”, “” ReserveFlightReserveCarRental, “” 등의 오류를 모방하는 run_type 매개변수를 전달하여 여행 예약 시스템의 기능을 제어할 수 ConfirmCarRental 있습니다. ProcessPayment ConfirmFlight

saga Lambda 함수(sagaLambda.ts)는 API Gateway URL의 쿼리 파라미터에서 입력을 받아 다음 JSON 객체를 생성하고 실행을 위해 Step Functions에 전달합니다.

let input = {
"trip_id": tripID, //  value taken from query parameter, default is AWS request ID
"depart_city": "Detroit",
"depart_time": "2021-07-07T06:00:00.000Z",
"arrive_city": "Frankfurt",
"arrive_time": "2021-07-09T08:00:00.000Z",
"rental": "BMW",
"rental_from": "2021-07-09T00:00:00.000Z",
"rental_to": "2021-07-17T00:00:00.000Z",
"run_type": runType // value taken from query parameter, default is "success"
};

다음 URL 파라미터를 전달하여 Step Functions 상태 머신의 다양한 흐름을 시험해 볼 수 있습니다.

Iac 템플릿

연결된 리포지토리에는 전체 샘플 여행 예약 애플리케이션을 생성하는 데 사용할 수 있는 IaC 템플릿이 포함되어 있습니다.

DynamoDB 테이블

항공편, 렌터카, 결제 테이블의 데이터 모델은 다음과 같습니다.

Flight Data Model:
 var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: flightReservationID},
        'trip_id' : {S: event.trip_id},
        'id': {S: flightReservationID},
        'depart_city' : {S: event.depart_city},
        'depart_time': {S: event.depart_time},
        'arrive_city': {S: event.arrive_city},
        'arrive_time': {S: event.arrive_time},
        'transaction_status': {S: 'pending'}
      }
    };

Car Rental Data Model:
var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: carRentalReservationID},
        'trip_id' : {S: event.trip_id},
        'id': {S: carRentalReservationID},
        'rental': {S: event.rental},
        'rental_from': {S: event.rental_from},
        'rental_to': {S: event.rental_to},
        'transaction_status': {S: 'pending'}
      }
    };

Payment Data Model:
var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: paymentID},
        'trip_id' : {S: event.trip_id},
        'id': {S: paymentID},
        'amount': {S: "750.00"}, // hard coded for simplicity as implementing any monetary transaction functionality is beyond the scope of this pattern
        'currency': {S: "USD"},
        'transaction_status': {S: "confirmed"}
      }
    };

Lambda 함수

Step Functions에서 상태 머신 플로우 및 실행을 지원하기 위해 다음 함수가 생성됩니다.

Amazon SNS

샘플 애플리케이션은 SMS 메시지를 전송하고 고객에게 예약 성공 또는 실패를 알리기 위한 다음 주제 및 구독을 생성합니다. 샘플 애플리케이션을 테스트하는 동안 문자 메시지를 수신하려면 상태 시스템 정의 파일에 있는 유효한 전화 번호로 SMS 구독을 업데이트하세요.

AWS CDK 스니펫(다음 코드의 두 번째 줄에 전화번호 추가):

const topic = new  sns.Topic(this, 'Topic');
topic.addSubscription(new subscriptions.SmsSubscription('+11111111111'));
const snsNotificationFailure = new tasks.SnsPublish(this ,'SendingSMSFailure', {
topic:topic,
integrationPattern: sfn.IntegrationPattern.REQUEST_RESPONSE,
message: sfn.TaskInput.fromText('Your Travel Reservation Failed'),
});
 
const snsNotificationSuccess = new tasks.SnsPublish(this ,'SendingSMSSuccess', {
topic:topic,
integrationPattern: sfn.IntegrationPattern.REQUEST_RESPONSE,
message: sfn.TaskInput.fromText('Your Travel Reservation is Successful'),
});

AWS SAM 스니펫(+1111111111 문자열을 유효한 전화번호로 대체):

  StateMachineTopic11111111111:
    Type: 'AWS::SNS::Subscription'
    Properties:
      Protocol: sms
      TopicArn:
        Ref: StateMachineTopic
      Endpoint: '+11111111111'
    Metadata:
      'aws:sam:path': SamServerlessSagaStack/StateMachine/Topic/+11111111111/Resource

Terraform 스니펫(+111111111 문자열을 유효한 전화번호로 대체):

resource "aws_sns_topic_subscription" "sms-target" {
  topic_arn = aws_sns_topic.topic.arn
  protocol  = "sms"
  endpoint  = "+11111111111"
}

성공적인 예약

다음 흐름은 “,”, “”ReserveFlight, “” 다음에 “ReserveCarRental” 및 “" ProcessPayment 가 붙은 성공적인 예약을 보여줍니다. ConfirmFlight ConfirmCarRental SNS 주제 구독자에게 전송되는 SMS 메시지를 통해 예약 성공 여부를 고객에게 알립니다.

예약 실패

이 흐름은 사가 패턴의 실패 사례입니다. 항공편 및 렌터카를 예약한 후 “ProcessPayment" 이 (가) 실패하면 단계가 역순으로 취소됩니다.  예약이 취소되고 SNS 주제 구독자에게 전송되는 SMS 메시지를 통해 고객에게 실패 사실을 알립니다.