分散マップを使用して Amazon S3 からCSVファイルを処理する - AWS Step Functions

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

分散マップを使用して Amazon S3 からCSVファイルを処理する

このサンプルプロジェクトでは、分散マップ状態を使用して、 を使用して生成されたCSVファイルの 10,000 行を反復処理する方法を示します。Lambda function。CSV ファイルには顧客の注文の配送情報が含まれており、Amazon S3 バケットに保存されます。分散マップは、データ分析のためにCSVファイル内の 10 行のバッチを反復処理します。

分散マップには、Lambda 遅延注文を検出する 関数。分散マップには、遅延した注文を一括処理し、遅延した注文を配列で返すインラインマップも含まれています。遅延注文ごとに、インラインマップは にメッセージを送信します。Amazon SQS queue. 最後に、このサンプルプロジェクトは、マップ実行の結果を AWS アカウント内の別の Amazon S3 バケットに保存します。

分散マップを使用すると、同時に最大 10,000 件の子ワークフローを並列実行できます。このサンプルプロジェクトでは、分散マップの最大同時実行数は 1000 に設定されており、子ワークフローの並列実行数は 1000 に制限されています。

このサンプルプロジェクトでは、ステートマシンとサポート AWS リソースを作成し、関連するIAMアクセス許可を設定します。このサンプルプロジェクトについて調べ、分散マップを使用して大規模な並列ワークロードをオーケストレーションしたり、独自のプロジェクトの出発点として使用したりする方法について説明します。

ステップ 1: ステートマシンを作成する

  1. Step Functions コンソールを開き、[ステートマシンの作成] を選択します。

  2. 使用するスターターテンプレートを見つけて選択します。[次へ] を選択して続行します。

  3. デモを実行して読み取り専用と ready-to-deployワークフローを作成するか、ビルドを選択して編集可能なステートマシン定義を作成し、後でデプロイできます。

  4. [テンプレートの使用] を選択して選択を続行します。

次のステップは、前の選択によって異なります。

  1. デモの実行 – によって AWS CloudFormation にデプロイされたリソースを使用して読み取り専用プロジェクトを作成する前に、ステートマシンを確認できます AWS アカウント。

    ステートマシン定義を表示し、準備ができたら、[デプロイと実行] を選択してプロジェクトをデプロイし、リソースを作成します。

    デプロイには、リソースとアクセス許可の作成に最大 10 分かかる場合があります。スタック ID リンクを使用して、 AWS CloudFormationの進行状況をモニタリングできます。

    デプロイが完了すると、コンソールに新しいステートマシンが表示されます。

  2. その上に構築する – ワークフロー定義を確認して編集できます。カスタムワークフローの実行を試みる前に、サンプルプロジェクト内のプレースホルダーの値を設定する必要がある場合があります。

注記

アカウントにデプロイされたサービスには、Standard 料金が適用される場合があります。

ステップ 2: ステートマシンを実行する

  1. [ステートマシン] ページで、サンプルプロジェクトを選択します。

  2. サンプルプロジェクトページで、[実行を開始] を選択します。

  3. [実行を開始] ダイアログボックスで、以下の操作を行います。

    1. (オプション) 生成されたデフォルトを上書きするカスタム実行名を入力します。

      以外のASCII名前とログ記録

      Step Functions は、 ASCII以外の文字を含むステートマシン、実行、アクティビティ、およびラベルの名前を受け入れます。このような文字は Amazon では機能しないため CloudWatch、メトリクスを追跡できるようにASCII文字のみを使用することをお勧めします CloudWatch。

    2. (オプション) 入力ボックスに、入力値を として入力しますJSON。デモを実行している場合は、このステップをスキップできます。

    3. [実行のスタート] を選択します。

    Step Functions コンソールから [実行の詳細] ページに移動し、[グラフビュー] で状態を選択して [ステップの詳細] ペインの関連情報を確認できます。

お疲れ様でした。

これで、実行中のデモまたはカスタマイズできるステートマシン定義のいずれかが完成しました。