AWS Step Functions を使用してサーバーレス saga パターンを実装する

作成者: Tabby Ward (AWS）、Rohan Mehta (AWS）、Rimpy Tewani (AWS）

[概要]

マイクロサービスアーキテクチャの主な目標は、アプリケーションの俊敏性、柔軟性、および市場投入までの時間を短縮するために、分離された独立したコンポーネントを構築することです。デカップリングにより、各マイクロサービスコンポーネントには独自のデータ永続化レイヤーが設けられます。分散型アーキテクチャでは、ビジネストランザクションが複数のマイクロサービスにまたがる可能性があります。これらのマイクロサービスは単一のアトミック性、整合性、分離、耐久性 (ACID) トランザクションを使用できないため、部分的なトランザクションになる可能性があります。この場合、すでに処理されたトランザクションを元に戻すには、何らかの制御ロジックが必要です。ディストリビュートサガパターンは、通常、この目的のために使用されます。 

サガパターンは、分散アプリケーションの一貫性を確立し、複数のマイクロサービス間のトランザクションを調整してデータ整合性を維持するのに役立つ障害管理パターンです。サガパターンを使用すると、トランザクションを実行するすべてのサービスがイベントをパブリッシュし、後続のサービスがチェーン内の次のトランザクションを実行するようトリガーします。これはチェーン内の最後のトランザクションが完了するまで続きます。ビジネストランザクションが失敗した場合、sagaは一連の補償トランザクションを組織し、それまでのトランザクションによって行われた変更を取り消します。

このパターンは、AWSStep Functions、AWSLambda、Amazon DynamoDB などのサーバーレステクノロジーを使用して、サンプルアプリケーション (旅行予約を処理する) のセットアップとデプロイを自動化する方法を示しています。サンプルアプリケーションは、Amazon API Gateway と Amazon Simple Notification Service (Amazon SNS) を使用して saga 実行コーディネーターを実装します。このパターンは、AWSCloud Development Kit ( )、AWSServerless Application Model (AWS CDK）、Terraform などの Infrastructure as Code (AWSIaC SAM) フレームワークを使用してデプロイできます。

Saga パターンやその他のデータ永続化パターンの詳細については、AWS「規範ガイダンスウェブサイト」の「マイクロサービスでデータ永続化を有効にする」ガイドを参照してください。

前提条件と制限

前提条件

製品バージョン

制約事項

イベントソーシングは、すべてのコンポーネントがゆるく結合されていて互いに直接認識できないマイクロサービスアーキテクチャに saga オーケストレーションパターンを実装する自然な方法です。トランザクションのステップ数が少ない (3 ～ 5) 場合は、サガパターンが最適かもしれません。ただし、マイクロサービスの数とステップの数が増えるにつれて、複雑さも増します。 

この設計を使用すると、トランザクションパターンをシミュレートするためにすべてのサービスを実行する必要があるため、テストとデバッグが難しくなる可能性があります。

アーキテクチャ

ターゲットアーキテクチャ

提案されたアーキテクチャでは、AWSStep Functions を使用して、フライトの予約、レンタカーの予約、休暇の支払い処理を行う saga パターンを構築します。

以下のワークフロー図は、旅行予約システムの一般的なフローを示しています。このワークフローは、航空旅行の予約 (ReserveFlight「」）、レンタカーの予約 (ReserveCarRental「」）、支払いの処理 (ProcessPayment「」）、フライト予約の確認 (ConfirmFlight「」）、レンタカーの確認 (ConfirmCarRental「」) の後に、これらのステップが完了したときに成功通知が送られます。ただし、これらのトランザクションのいずれかを実行中にエラーが発生すると、システムは逆方向にフェイルオーバーし始めます。例えば、支払い処理 (ProcessPayment「」) でエラーが発生すると、返金 (RefundPayment「」) がトリガーされ、レンタカーとフライト (CancelRentalReservation「」とCancelFlightReservation「」) のキャンセルがトリガーされ、トランザクション全体が失敗メッセージで終了します。

このパターンでは、図で強調表示されているタスクごとに個別の Lambda 関数がデプロイされるほか、フライト、レンタカー、支払い用の 3 つの DynamoDB テーブルもデプロイされます。各 Lambda 関数は、トランザクションが確認されたかロールバックされたかに応じて、それぞれの DynamoDB テーブルの行を作成、更新、または削除します。このパターンは Amazon SNS を使用して、サブスクライバーにテキスト (SMS) メッセージを送信し、失敗したトランザクションまたは成功したトランザクションを通知します。 

自動化とスケール

IaC フレームワークのいずれかを使用して、このアーキテクチャの構成を作成できます。お好みの Iac について、以下のリンクの 1 つを使用します。

ツール

AWS サービス

コード

IaC テンプレート (AWS、CDK、または Terraform)、Lambda AWS 関数SAM、DynamoDB テーブルなど、Saga パターンを示すサンプルアプリケーションのコードは、次のリンクにあります。最初のエピックの指示に従って、これらをインストールします。

エピック

npm install

npm run build

npm run watch

npm run test

cdk bootstrap
cdk deploy

sam build
sam deploy --guided

terraform init
terraform apply

cdk diff

sam deploy

terraform plan

cdk destroy

sam delete

terraform destroy

関連リソース

テクニカルペーパー

AWS サービスドキュメント

チュートリアル

追加情報

コード

テスト目的で、このパターンは API Gateway と Step Functions ステートマシンをトリガーするテスト Lambda 関数をデプロイします。Step Functions を使用すると、「、」、ReserveFlight「」、ReserveCarRentalProcessPayment「」、「」の障害を模倣するためにrun_typeパラメータを渡すことでConfirmFlight、旅行予約システムの機能を制御できますConfirmCarRental。

saga Lambda 関数 (sagaLambda.ts) は、APIゲートウェイ のクエリパラメータから入力を受け取りURL、次のJSONオブジェクトを作成し、実行のために Step Functions に渡します。

let input = {
"trip_id": tripID, //  value taken from query parameter, default is AWS request ID
"depart_city": "Detroit",
"depart_time": "2021-07-07T06:00:00.000Z",
"arrive_city": "Frankfurt",
"arrive_time": "2021-07-09T08:00:00.000Z",
"rental": "BMW",
"rental_from": "2021-07-09T00:00:00.000Z",
"rental_to": "2021-07-17T00:00:00.000Z",
"run_type": runType // value taken from query parameter, default is "success"
};

次のURLパラメータを渡すことで、Step Functions ステートマシンのさまざまなフローを試すことができます。

IaC テンプレート

リンクされたリポジトリには、サンプル旅行予約アプリケーション全体を作成するのに使用できる IaC テンプレートが含まれています。

DynamoDB テーブル

フライト、レンタカー、支払いテーブルのデータモデルは次のとおりです。

Flight Data Model:
 var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: flightReservationID},
        'trip_id' : {S: event.trip_id},
        'id': {S: flightReservationID},
        'depart_city' : {S: event.depart_city},
        'depart_time': {S: event.depart_time},
        'arrive_city': {S: event.arrive_city},
        'arrive_time': {S: event.arrive_time},
        'transaction_status': {S: 'pending'}
      }
    };

Car Rental Data Model:
var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: carRentalReservationID},
        'trip_id' : {S: event.trip_id},
        'id': {S: carRentalReservationID},
        'rental': {S: event.rental},
        'rental_from': {S: event.rental_from},
        'rental_to': {S: event.rental_to},
        'transaction_status': {S: 'pending'}
      }
    };

Payment Data Model:
var params = {
      TableName: process.env.TABLE_NAME,
      Item: {
        'pk' : {S: event.trip_id},
        'sk' : {S: paymentID},
        'trip_id' : {S: event.trip_id},
        'id': {S: paymentID},
        'amount': {S: "750.00"}, // hard coded for simplicity as implementing any monetary transaction functionality is beyond the scope of this pattern
        'currency': {S: "USD"},
        'transaction_status': {S: "confirmed"}
      }
    };

Lambda 関数

Step Functions でのステートマシンフローと実行をサポートするために、以下の関数が作成されます。

Amazon SNS

サンプルアプリケーションは、SMSメッセージを送信し、予約の成功または失敗について顧客に通知するための次のトピックとサブスクリプションを作成します。サンプルアプリケーションのテスト中にテキストメッセージを受信する場合は、ステートマシン定義ファイルの有効な電話番号でSMSサブスクリプションを更新します。

AWS CDK スニペット (次のコードの 2 行目に電話番号を追加します）。

const topic = new  sns.Topic(this, 'Topic');
topic.addSubscription(new subscriptions.SmsSubscription('+11111111111'));
const snsNotificationFailure = new tasks.SnsPublish(this ,'SendingSMSFailure', {
topic:topic,
integrationPattern: sfn.IntegrationPattern.REQUEST_RESPONSE,
message: sfn.TaskInput.fromText('Your Travel Reservation Failed'),
});
 
const snsNotificationSuccess = new tasks.SnsPublish(this ,'SendingSMSSuccess', {
topic:topic,
integrationPattern: sfn.IntegrationPattern.REQUEST_RESPONSE,
message: sfn.TaskInput.fromText('Your Travel Reservation is Successful'),
});

AWS SAM スニペット (+1111111111文字列を有効な電話番号に置き換えます）。

  StateMachineTopic11111111111:
    Type: 'AWS::SNS::Subscription'
    Properties:
      Protocol: sms
      TopicArn:
        Ref: StateMachineTopic
      Endpoint: '+11111111111'
    Metadata:
      'aws:sam:path': SamServerlessSagaStack/StateMachine/Topic/+11111111111/Resource

Terraform スニペット (+111111111文字列を有効な電話番号に置き換える)：

resource "aws_sns_topic_subscription" "sms-target" {
  topic_arn = aws_sns_topic.topic.arn
  protocol  = "sms"
  endpoint  = "+11111111111"
}

予約成功

次のフローは、ReserveFlight「、ReserveCarRental」、「」、ProcessPayment「」の後に「」、ConfirmFlight「」の順で予約が成功したことを示していますConfirmCarRental。SNS トピックのサブスクライバーに送信されるSMSメッセージを通じて、予約が成功したことがお客様に通知されます。

予約失敗

このフローは、サガ・パターンの失敗の一例です。フライトとレンタカーの予約後にProcessPayment「」が失敗すると、ステップは逆の順序でキャンセルされます。 予約がリリースされ、SNSトピックのサブスクライバーに送信されるSMSメッセージを通じて、障害がお客様に通知されます。