チュートリアル: S3 Object Lambda を使用したアプリケーションのデータの変換 - Amazon Simple Storage Service

チュートリアル: S3 Object Lambda を使用したアプリケーションのデータの変換

Amazon S3 にデータを保管すると、複数のアプリケーションで使用するために簡単にデータを共有できます。ただし、各アプリケーションには固有のデータ形式の要件があり、特定のユースケースでデータの変更や処理が必要になる場合があります。例えば、e コマースアプリケーションによって作成されたデータセットには、個人を特定できる情報 (PII) が含まれている場合があります。分析のために同じデータが処理される場合、この PII は必要ないため、編集する必要があります。ただし、同じデータセットをマーケティングキャンペーンに使用する場合は、顧客ロイヤルティデータベースからの情報など、追加の詳細でデータを充実させる必要がある場合があります。

S3 Object Lambda を使用すると、独自のコードを追加して、データがアプリケーションに返される前に S3 からのデータを処理できます。具体的には、AWS Lambda 関数を設定して、S3 Object Lambda アクセスポイントにアタッチします。アプリケーションが S3 Object Lambda アクセスポイントを介して 標準 S3 GET リクエスト を送信すると、指定された Lambda 関数が呼び出され、サポートする S3 アクセスポイントを介して S3 バケットから取得されたデータが処理されます。その後、S3 Object Lambda アクセスポイントは、変換された結果をアプリケーションに返します。独自のカスタム Lambda 関数を作成して実行し、S3 Object Lambda データ変換を特定のユースケースに合わせて調整できます。すべて、アプリケーションの変更は不要です。

これは S3 Object Lambda ワークフロー図です。
目的

このチュートリアルでは、標準の S3 GET リクエストにカスタムコードを追加して、リクエストしたクライアントまたはアプリケーションのニーズに合うように、S3 から取得したリクエストされたオブジェクトを変更する方法を学習します。具体的には、S3 に保存されている元のオブジェクトのすべてのテキストを S3 Object Lambda を使用して大文字に変換する方法を学習します。

注記

このチュートリアルでは、Python コードを使用してデータを変換します。他の AWS SDK の使用例については、AWS SDK コードサンプルライブラリの「S3 Object Lambda でアプリケーションのデータを変換する」を参照してください。

前提条件

このチュートリアルを開始する前に、適切な許可が付与された AWS Identity and Access Management (IAM) ユーザーとしてサインインできる AWS アカウントが必要です。また、バージョン 3.8 以降の Python をインストールする必要があります。

AWS アカウントでアクセス許可を持つ IAM ユーザーを作成します (コンソール)。

チュートリアル用の IAM ユーザーを作成できます。このチュートリアルを完了するには、IAM ユーザーが次の IAM ポリシーをアタッチして、関連する AWS リソースにアクセスし、特定のアクションを実行する必要があります。IAM ユーザーを作成する方法の詳細については、「IAM ユーザーガイド」の「IAM ユーザーの作成 (コンソール)」を参照してください。

IAM ユーザーには次のポリシーが必要です。

  • AmazonS3FullAccess – Object Lambda アクセスポイントを作成および使用するための許可を含む、すべての Amazon S3 アクションに対する許可を付与します。

  • AWSLambda_FullAccess – すべての Lambda アクションに許可を付与します。

  • IAMFullAccess – すべての IAM アクションに許可を付与します。

  • IAMAccessAnalyzerReadOnlyAccess – IAM Access Analyzer によって提供されるすべてのアクセス情報を読み取る許可を付与します。

  • CloudWatchLogsFullAccess – CloudWatch Logs へのフルアクセスを付与します。

注記

このチュートリアルでは、わかりやすいように IAM ユーザーを作成して使用します。このチュートリアルを完了したら、忘れずに「IAM ロールを削除する」を行います。本番環境で使用する場合は、IAM ユーザーガイドの「IAM でのセキュリティのベストプラクティス」に従うことをお勧めします。ベストプラクティスでは、人間のユーザーと ID プロバイダーとのフェデレーションにより、一時的な認証情報を使用して AWS にアクセスする必要があります。追加のベストプラクティスとして、ワークロードでは一時的な認証情報で IAM ロールを使用し、AWS にアクセス必要があります。AWS IAM Identity Center を使用して一時的な認証情報を持つユーザーを作成する方法については、「AWS IAM Identity Center ユーザーガイド」の「開始方法」を参照してください。

このチュートリアルでは、フルアクセス権を持つ AWS マネージドポリシーも使用します。実稼働環境では、代わりに、セキュリティのベストプラクティスに従って、ユースケースに必要な最小限の許可のみを付与することをお勧めします。

ローカルマシンに Python 3.8 以降をインストールする

次の手順に従って、Python 3.8 以降をローカルマシンにインストールします。インストール手順については、Python の Beginner Guide で「Python のダウンロード」ページを参照してください。

  1. ローカルターミナルまたはシェルを開き、次のコマンドを実行して、Python がすでにインストールされているかどうか、インストールされている場合は、どのバージョンがインストールされているかを確認します。

    python --version
  2. Python 3.8 以降をお持ちでない場合は、ローカルマシンに適した Python 3.8 以降の公式インストーラをダウンロードします。

  3. ダウンロードしたファイルをダブルクリックしてインストーラを実行し、手順に従ってインストールを完了します。

    Windows ユーザーの場合、インストールウィザードで [Python 3.X を PATH に追加] を選択してから、[今すぐ、インストール] を選択します。

  4. ターミナルを閉じて再度開いて、再起動します。

  5. 次のコマンドを実行して、Python 3.8 以降が正しくインストールされていることを確認します。

    macOS ユーザーの場合は、このコマンドを実行します。

    python3 --version

    Windows ユーザーの場合は、このコマンドを実行します。

    python --version
  6. 次のコマンドを実行して、pip3 パッケージマネージャーがインストールされていることを確認します。コマンド応答に pip のバージョン番号と python 3.8 以降が表示された場合、pip3 パッケージマネージャが正常にインストールされていることを意味します。

    pip --version

ステップ 1: S3 バケットを作成する。

変換する元のデータを保存するバケットを作成します。

バケットを作成するには
  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左側のナビゲーションペインで、[バケット] を選択します。

  3. [Create bucket (バケットの作成)] を選択します。

    [バケットの作成] ページが開きます。

  4. [バケット名] に、バケットの名前 (例、tutorial-bucket) を入力します。

    Amazon S3 のバケット命名規則の詳細については、「バケットの名前付け」を参照してください。

  5. [リージョン] で、バケットを保存する AWS リージョン を選択します。

    バケットのリージョンの詳細については、「バケットの概要」を参照してください。

  6. [このバケットのパブリックアクセス設定をブロック] で、デフォルト設定 (ブロックすべてパブリックアクセスが有効) のままであることを確認します。

    ユースケースでオフにする必要のある設定が 1 つ以上あることがわかっている場合を除き、すべてのブロックパブリックアクセス設定を有効にしておくことをお勧めします。パブリックアクセスのブロックの詳細については、Amazon S3 ストレージへのパブリックアクセスのブロック を参照してください。

  7. 残りの設定はデフォルトのままにしておきます。

    (オプション) 特定のユースケースに追加のバケット設定を設定する場合は、「バケットの作成」を参照してください。

  8. [バケットを作成] を選択します。

ステップ 2: S3 バケットにファイルをアップロード

S3 バケットにテキストファイルをアップロードします。このテキストファイルには、このチュートリアルの後半で大文字に変換する元のデータが含まれています。

例えば、次のテキストが含まれている tutorial.txt ファイルをアップロードできます。

Amazon S3 Object Lambda Tutorial: You can add your own code to process data retrieved from S3 before returning it to an application.
バケットにファイルをアップロードするには
  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左側のナビゲーションペインで、[バケット] を選択します。

  3. [バケット] リストで、ステップ 1 で作成したバケットの名前を選択し (tutorial-bucket など)、ファイルをアップロードします。

  4. バケットの [オブジェクト] タブで、[アップロード] を選択します。

  5. [アップロード] ページの [ファイルとフォルダ] の下で、[ファイルを追加] を選択します。

  6. アップロードするファイルを選択し、続いて [オープン] を選択します。例えば、前述した tutorial.txt ファイルの例をアップロードできます。

  7. [アップロード] を選択します。

ステップ 3: S3 アクセスポイントの作成

S3 Object Lambda アクセスポイントを使用して元のデータにアクセスし、変換するには、S3 アクセスポイントを作成し、ステップ 1 で作成した S3 バケットに関連付けます。アクセスポイントは、変換するオブジェクトと同じ AWS リージョン に存在する必要があります。

このチュートリアルの後半では、このアクセスポイントを Object Lambda アクセスポイントのサポートアクセスポイントとして使用します。

アクセスポイントを作成するには
  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左のナビゲーションペインで、[アクセスポイント] を選択します。

  3. [アクセスポイント] ページで、[アクセスポイントの作成] を選択します。

  4. [アクセスポイント名] フィールドに、アクセスポイントの名前を入力します (tutorial-access-point など)。

    アクセスポイントの名前付けの詳細については、「Amazon S3 アクセスポイントの命名規則」を参照してください。

  5. [バケット名] フィールドに、ステップ 1 で作成したバケットの名前を入力します(tutorial-bucket など)。S3 は、アクセスポイントをこのバケットにアタッチします。

    (オプション) [S3 を参照] を選択して、アカウント内のバケットを参照および検索できます。[S3 を参照] を選択した場合は、目的のバケットを選択し、[パスの選択] を選択して、[バケット名] フィールドにバケットの名前を入力します。

  6. [ネットワークオリジン] で、[インターネット] を選択します。

    アクセスポイントのネットワークオリジンの詳細については、「Virtual Private Cloud に制限されたアクセスポイントの作成」を参照してください。

  7. デフォルトでは、アクセスポイントに対してすべてのブロックパブリックアクセス設定が有効になります。パブリックアクセスブロック設定は、すべてを有効にしておくことを推奨します。

    詳細については、「アクセスポイントへのパブリックアクセスの管理」を参照してください。

  8. その他のすべてのアクセスポイント設定で、デフォルトの設定を保持します。

    (オプション) アクセスポイントの設定は、ユースケースをサポートするように変更できます。このチュートリアルでは、デフォルトの設定を保持することをお勧めします。

    (オプション) アクセスポイントへのアクセスを管理する必要がある場合は、アクセスポイントポリシーを指定できます。詳細については、「アクセスポイントポリシーの例」を参照してください。

  9. [アクセスポイントを作成] を選択します。

ステップ 4: Lambda 関数を作成する

元のデータを変換するには、S3 Object Lambda アクセスポイントで使用する Lambda 関数を作成します。

Lambda 関数コードを記述し、仮想環境でデプロイパッケージを作成する

  1. ローカルマシンで、このチュートリアルの後半で使用する仮想環境に対して、フォルダ名が object-lambda であるフォルダを作成します。

  2. object-lambda フォルダで、元のオブジェクトのすべてのテキストを大文字に変更する Lambda 関数を含むファイルを作成します。例えば、Python で記述された次の関数を使用できます。この関数は、transform.py という名前のファイルに保存してください。

    import boto3 import requests from botocore.config import Config # This function capitalizes all text in the original object def lambda_handler(event, context): object_context = event["getObjectContext"] # Get the presigned URL to fetch the requested original object # from S3 s3_url = object_context["inputS3Url"] # Extract the route and request token from the input context request_route = object_context["outputRoute"] request_token = object_context["outputToken"] # Get the original S3 object using the presigned URL response = requests.get(s3_url) original_object = response.content.decode("utf-8") # Transform all text in the original object to uppercase # You can replace it with your custom code based on your use case transformed_object = original_object.upper() # Write object back to S3 Object Lambda s3 = boto3.client('s3', config=Config(signature_version='s3v4')) # The WriteGetObjectResponse API sends the transformed data # back to S3 Object Lambda and then to the user s3.write_get_object_response( Body=transformed_object, RequestRoute=request_route, RequestToken=request_token) # Exit the Lambda function: return the status code return {'status_code': 200}
    注記

    前述の例の Lambda 関数は、リクエストされたオブジェクト全体をメモリにロードしてから、変換してクライアントに返します。または、オブジェクト全体をメモリにロードしないようにするために、S3 からオブジェクトをストリーミングすることもできます。この方法は、大きなオブジェクトを扱うときに役立ちます。Object Lambda アクセスポイントを使用したレスポンスのストリーミングの詳細については、Lambda での GetObject リクエストの使用 にあるストリーミングの例を参照してください。

    S3 Object Lambda アクセスポイントで使用する Lambda 関数を記述する場合、この関数は S3 Object Lambda が Lambda 関数に提供する入力イベントコンテキストに基づいています。イベントコンテキストは、S3 Object Lambda から Lambda に渡されたイベントで行われたリクエストに関する情報を提供します。これには、Lambda 関数の作成に使用するパラメータが含まれています。

    前述の Lambda 関数の作成に使用されるフィールドは次のとおりです。

    getObjectContext のフィールドは、Amazon S3 および S3 Object Lambda への接続に関する入力および出力の詳細を意味します。以下のフィールドがあります。

    • inputS3Url – Lambda 関数がサポートするアクセスポイントから元のオブジェクトをダウンロードするために使用できる署名付き URL です。Lambda 関数は、署名付き URL を使用することにより、元のオブジェクトを取得するために Amazon S3 の読み取り許可を必要とせず、呼び出しごとに処理されたオブジェクトにのみアクセスできます。

    • outputRoute – Lambda 関数が変換したオブジェクトを戻すために WriteGetObjectResponse を呼び出すときに S3 Object Lambda URL に追加されるルーティングトークン。

    • outputToken – 変換されたオブジェクトを送り返すときに、WriteGetObjectResponse 呼び出しを元の呼び出し元と照合するために S3 Object Lambda によって使用されるトークンです。

    イベントコンテキスト内のすべてのフィールドの詳細については、「イベントコンテキストの形式と使用法 および S3 Object Lambda アクセスポイントの Lambda 関数の記述」を参照してください。

  3. ローカルターミナルで次のコマンドを入力し、virtualenv パッケージをインストールします。

    python -m pip install virtualenv
  4. ローカルターミナルで、前に作成した object-lambda フォルダを開き、次のコマンドを入力して、venv という名前の仮想環境を作成し、初期化します。

    python -m virtualenv venv
  5. 仮想環境をアクティブ化するには、次のコマンドを入力して環境のフォルダから activate ファイルを実行します。

    macOS ユーザーの場合は、このコマンドを実行します。

    source venv/bin/activate

    Windows ユーザーの場合は、このコマンドを実行します。

    .\venv\Scripts\activate

    ここで、コマンドプロンプトが変わり、仮想環境がアクティブであることを示す (venv) が表示されます。

  6. 必要なライブラリをインストールするには、venv 仮想環境で、以下のコマンドを行単位で実行します。

    これらのコマンドは、lambda_handler Lambda 関数の依存関係の更新バージョンをインストールします。これらの依存関係は、AWS SDK for Python (Boto3) とリクエストモジュールです。

    pip3 install boto3
    pip3 install requests
  7. 仮想環境を無効にするには、次のコマンドを実行します。

    deactivate
  8. インストール済みライブラリを含むデプロイパッケージを object-lambda ディレクトリのルートにある lambda.zip という名前の .zip ファイルで作成し、以下のコマンドをローカルターミナルで行単位で実行します。

    ヒント

    以下のコマンドは、特定の環境で動作するように調整する必要がある場合があります。例えば、ライブラリは site-packages または dist-packages であり、最初のフォルダはlib または lib64 です。また、python フォルダには、別の Python バージョンで名前が付けられている可能性があります。特定のパッケージを見つけるには、pip show コマンドを使用します。

    macOS ユーザーの場合は、このコマンドを実行します。

    cd venv/lib/python3.8/site-packages
    zip -r ../../../../lambda.zip .

    Windows ユーザーの場合は、このコマンドを実行します。

    cd .\venv\Lib\site-packages\
    powershell Compress-Archive * ../../../lambda.zip

    最後のコマンドは、デプロイメントパッケージを object-lambda ディレクトリのルートに保存します。

  9. デプロイパッケージのルートに関数コードファイル transform.py を追加します。

    macOS ユーザーの場合は、このコマンドを実行します。

    cd ../../../../
    zip -g lambda.zip transform.py

    Windows ユーザーの場合は、このコマンドを実行します。

    cd ..\..\..\
    powershell Compress-Archive -update transform.py lambda.zip

    このステップを完了すると、以下のようなディレクトリ構造になります。

    lambda.zip$ │ transform.py │ __pycache__ | boto3/ │ certifi/ │ pip/ │ requests/ ...

実行ロールを使用した Lambda 関数の作成 (コンソール)

  1. AWS Management Console にサインインして AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) を開きます。

  2. 左側のナビゲーションペインで、[関数] を選択します。

  3. 関数の作成 を選択します。

  4. Author from scratch を選択します。

  5. 基本的な情報 で、以下の作業を行います。

    1. [関数名] に「tutorial-object-lambda-function」と入力します。

    2. [ランタイム] で、Python 3.8 またはそれ以降のバージョンを選択します。

  6. [デフォルト実行ロールの変更] セクションを展開します。[実行ロール] で、[基本的な Lambda 許可で新しいロールを作成] を選択します。

    このチュートリアルのステップ 5 で、AmazonS3ObjectLambdaExecutionRolePolicy をこの Lambda 関数の実行ロールにアタッチします。

  7. 残りの設定はデフォルト値のままにしておきます。

  8. [Create function (関数の作成)] を選択します。

.zip ファイルアーカイブを使用して Lambda 関数コードをデプロイし、Lambda 関数を設定 (コンソール)

  1. AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) で、左のナビゲーションペインの関数を選択します。

  2. 前に作成した Lambda 関数を選択します (例、tutorial-object-lambda-function)。

  3. Lambda 関数の詳細ページで、[コード] を選択します。[コードソース] セクションで、[からアップロード]、[.zip ファイル] の順に選択します。

  4. [アップロード] を選択して、ローカルの .zip ファイルを選択します。

  5. 前に作成した lambda.zip ファイルを選択し、[開く] を選択します。

  6. [保存] を選択します。

  7. [ランタイム設定] セクションで、[編集] を選択します。

  8. [ランタイム設定の編集] ページで、ランタイムPython 3.8 またはそれ以降のバージョンに設定されていることを確認します。

  9. Lambda ランタイムに Lambda 関数コード内のどのハンドラメソッドを呼び出すかを指示するには、[ハンドラー] に transform.lambda_handler を入力します。

    Python で関数を設定するとき、ハンドラー設定の値は、ファイル名と、ハンドラーモジュールの名前を、ドットで区切ったものになります。例えば、transform.lambda_handler は、transform.py ファイルで定義された lambda_handler メソッドを呼び出します。

  10. [Save] を選択します。

  11. (オプション) Lambda 関数の詳細ページで、[設定] タブを選択します。左のナビゲーションペインで、[一般的な設定] を選択してから、[編集] を選択します。[タイムアウト] フィールドに、10 秒と入力します。残りの設定はデフォルト値のままにして、[保存] を選択します。

    タイムアウトは、Lambda で関数が停止するまでに許可される実行時間の長さです。デフォルト値は 3 秒です。S3 Object Lambda によって使用される Lambda 関数の最大持続時間は 60 秒です。料金は、設定されたメモリの量とコードの実行時間に基づいて請求されます。

ステップ 5: Lambda 関数の実行ロールの IAM ポリシーを設定する

Lambda 関数がカスタマイズされたデータと応答ヘッダーを GetObject 呼び出し元に提供できるようにするには、Lambda 関数の実行ロールに WriteGetObjectResponse API を呼び出すための IAM 許可が必要です。

IAM ポリシーを Lambda 関数ロールにアタッチするには

  1. AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) で、左のナビゲーションペインの関数を選択します。

  2. ステップ 4 で作成した関数 (たとえば、tutorial-object-lambda-function) を選択します。

  3. Lambda 関数の詳細ページで、[設定] タブを選択してから、左のナビゲーションペインの [許可] を選択します。

  4. [実行ロール] で、[ロール名] のリンクを選択します。IAM コンソールが開きます。

  5. Lambda 関数の実行ロールの IAM コンソールの [Summary] (概要) ページで、[Permissions] (許可) タブを選択します。[Add Permissions] (許可を追加) メニューから [Attach policies] (ポリシーを添付) を選択します。

  6. [許可のアタッチ] ページで、[検索] ボックスに AmazonS3ObjectLambdaExecutionRolePolicy を入力して、ポリシーのリストをフィルタリングします。AmazonS3ObjectLambdaExecutionRolePolicy ポリシーの名前の横にあるチェックボックスを選択します。

  7. [ポリシーのアタッチ] を選択します。

ステップ 6: Object Lambda アクセスポイントの作成

S3 Object Lambda アクセスポイントは、S3 GET リクエストから Lambda 関数を直接呼び出す柔軟性を提供し、関数が S3 アクセスポイントから取得したデータを処理できるようにします。S3 Object Lambda アクセスポイントを作成および設定するときは、Lambda が使用するカスタムパラメータとして JSON 形式のイベントコンテキストを呼び出し、提供する Lambda 関数を指定する必要があります。

S3 Object Lambda アクセスポイントを作成するには
  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左のナビゲーションペインで、[Object Lambda アクセスポイント] を選択します。

  3. [Object Lambda アクセスポイント] ページで、[Object Lambda アクセスポイントの作成] を選択します。

  4. Object Lambda アクセスポイント名] に、Object Lambda アクセスポイントに使用する名前を入力します (例、tutorial-object-lambda-accesspoint)。

  5. [サポートするアクセスポイント] で、ステップ 3 で作成した標準アクセスポイントを入力または参照します (tutorial-access-point など)。次に、[サポートするアクセスポイントの選択] を選択します。

  6. S3 API の場合、Lambda 関数が処理する S3 バケットからオブジェクトを取得するには、[GetObject] を選択します。

  7. [Lambda 関数の呼び出し] では、このチュートリアルでは、次の 2 つのオプションのいずれかを選択できます。

    • [アカウントの関数から選ぶ] を選択し、[Lambda 関数] ドロップダウンリストから、ステップ 4 で作成した Lambda 関数を選択します (例、tutorial-object-lambda-function)。

    • [ARN を入力] を選択し、ステップ 4 で作成した Lambda 関数の Amazon リソースネーム (ARN) を入力します。

  8. [Lambda 関数のバージョン] で、$LATEST (ステップ 4 で作成した Lambda 関数の最新バージョン) を選択します。

  9. (オプション) Lambda 関数で、範囲とパート番号によって GET リクエストを認識および処理する必要がある場合は、[Lambda 関数は、範囲を使用してリクエストをサポート] および [Lambda 関数は、パート番号を使用してリクエストをサポート] を選択します。それ以外の場合は、これらの 2 つのチェックボックスをオフにします。

    S3 Object Lambda で範囲またはパート番号を使用する方法の詳細については、「Range および partNumber ヘッダーの操作」を参照してください。

  10. (オプション) [ペイロード - オプション] で JSON テキストを追加して、Lambda 関数に追加情報を提供します。

    ペイロードは、特定の S3 Object Lambda アクセスポイントからのすべての呼び出しに対する入力として、Lambda 関数に提供できるオプションの JSON テキストです。同じ Lambda 関数を呼び出す複数の Object Lambda アクセスポイントの動作をカスタマイズして、異なるパラメータを使用してペイロードを設定できます。これにより、Lambda 関数の柔軟性が向上します。

    ペイロードの詳細については、「イベントコンテキストの形式と使用法」を参照してください。

  11. (オプション) [リクエストメトリクス - オプション] で、[無効] または [有効] を選択して、Amazon S3 モニタリングを Object Lambda アクセスポイントに追加します。リクエストメトリクスには、Amazon CloudWatch の標準料金が課金されます。詳細については、「CloudWatch 料金表」を参照してください。

  12. [Object Lambda アクセスポイントポリシー-オプション] で、デフォルトの設定を保持します。

    (オプション) リソースポリシーを設定できます。このリソースポリシーは、指定された Object Lambda アクセスポイントを使用する GetObject API 許可を付与します。

  13. 残りの設定はデフォルト値のままにしておき、[Object Lambda アクセスポイントの作成] を選択します。

ステップ 7: 変換されたデータを表示する

これで、S3 Object Lambda は、ユースケースに合わせてデータを変換する準備が整いました。このチュートリアルでは、S3 Object Lambda はオブジェクト内のすべてのテキストを大文字に変換します。

S3 Object Lambda アクセスポイントの変換済みデータの表示

S3 Object Lambda アクセスポイントを使用してファイルの取得をリクエストすると、S3 Object Lambda への GetObject API 呼び出しが行われます。S3 Object Lambda は Lambda 関数を呼び出してデータを変換し、変換されたデータを標準 S3 GetObject API への応答として返します。

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左のナビゲーションペインで、[Object Lambda アクセスポイント] を選択します。

  3. [Object Lambda アクセスポイント] ページで、ステップ 6 で作成した S3 Object Lambda アクセスポイントを選択します (例、tutorial-object-lambda-accesspoint)。

  4. S3 Object Lambda アクセスポイントの [オブジェクト] タブで、ステップ 2 で S3 バケットにアップロードしたファイルと同じ名前のファイルを選択します(例、tutorial.txt)。

    このファイルには、変換されたすべてのデータが含まれているはずです。

  5. 変換されたデータを表示するには、[開く] または [ダウンロード] を選択します。

Python スクリプトを実行して、元のデータと変換されたデータを出力する

S3 Object Lambda は、既存のアプリケーションで使用できます。これを行うには、アプリケーション設定を更新して、ステップ 6 で、S3 からのデータを作成した新しい S3 Object Lambda アクセスポイント ARN を使用してデータを取得します。

次の Python スクリプトの例では、S3 バケットからの元のデータと S3 Object Lambda アクセスポイントからの変換されたデータの両方を出力します。

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左のナビゲーションペインで、[Object Lambda アクセスポイント] を選択します。

  3. [Object Lambda アクセスポイント] ページで、ステップ 6 で作成した S3 Object Lambda アクセスポイントの左にあるラジオブタンを選択します (例、tutorial-object-lambda-accesspoint)。

  4. [ARN のコピー] を選択します。

  5. 後で使用するために ARN を保存します。

  6. ローカルマシンで Python スクリプトを記述して、S3 バケットからの元のデータ (例えば、tutorial.txt) と S3 Object Lambda アクセスポイントからの変換されたデータ (例えば、tutorial.txt) の両方を出力します。次のサンプルスクリプトを使用できます。

    import boto3 from botocore.config import Config s3 = boto3.client('s3', config=Config(signature_version='s3v4')) def getObject(bucket, key): objectBody = s3.get_object(Bucket = bucket, Key = key) print(objectBody["Body"].read().decode("utf-8")) print("\n") print('Original object from the S3 bucket:') # Replace the two input parameters of getObject() below with # the S3 bucket name that you created in Step 1 and # the name of the file that you uploaded to the S3 bucket in Step 2 getObject("tutorial-bucket", "tutorial.txt") print('Object transformed by S3 Object Lambda:') # Replace the two input parameters of getObject() below with # the ARN of your S3 Object Lambda Access Point that you saved earlier and # the name of the file with the transformed data (which in this case is # the same as the name of the file that you uploaded to the S3 bucket # in Step 2) getObject("arn:aws:s3-object-lambda:us-west-2:111122223333:accesspoint/tutorial-object-lambda-accesspoint", "tutorial.txt")
  7. Python スクリプトにカスタム名 (tutorial_print.py など) を付けて、ステップ 4 でローカルマシンに作成したフォルダ (object-lambda など) に保存します。

  8. ローカルターミナルで、ステップ 4 で作成したディレクトリ  (例えば、object-lambda) のルートから次のコマンドを実行します。

    python3 tutorial_print.py

    元のデータと変換されたデータ(すべて大文字)の両方がターミナルに表示されます。例えば、次のようなテキストが表示されます。

    Original object from the S3 bucket: Amazon S3 Object Lambda Tutorial: You can add your own code to process data retrieved from S3 before returning it to an application. Object transformed by S3 Object Lambda: AMAZON S3 OBJECT LAMBDA TUTORIAL: YOU CAN ADD YOUR OWN CODE TO PROCESS DATA RETRIEVED FROM S3 BEFORE RETURNING IT TO AN APPLICATION.

ステップ 8: クリーンアップする

学習のためだけに S3 Object Lambda によってデータを変換した場合は、割り当てた AWS リソースを削除して、料金が発生しないようにします。

Object Lambda アクセスポイントの削除

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左のナビゲーションペインで、[Object Lambda アクセスポイント] を選択します。

  3. [Object Lambda アクセスポイント] ページで、ステップ 6 で作成した S3 Object Lambda アクセスポイントの左にあるラジオブタンを選択します (例、tutorial-object-lambda-accesspoint)。

  4. [削除] を選択します。

  5. 表示されるテキストフィールドにアクセスポイントの名前を入力して、[削除] を選択し、bject Lambda アクセスポイントを削除することを確認します。

S3 アクセスポイントを削除する

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左のナビゲーションペインで、[アクセスポイント] を選択します。

  3. ステップ 3 で作成したアクセスポイントに移動し (例、tutorial-access-point)、アクセスポイントの名前の横にあるラジオボタンを選択します。

  4. [削除] を選択します。

  5. 表示されるテキストフィールドにアクセスポイントの名前を入力して、アクセスポイントを削除することを確認し、[削除] を選択します。

Lambda 関数の実行ロールを削除する

  1. AWS Management Console にサインインして AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) を開きます。

  2. 左側のナビゲーションペインで、[関数] を選択します。

  3. ステップ 4 で作成した関数 (例、tutorial-object-lambda-function) を選択します。

  4. Lambda 関数の詳細ページで、[設定] タブを選択してから、左のナビゲーションペインの [許可] を選択します。

  5. [実行ロール] で、[ロール名] のリンクを選択します。IAM コンソールが開きます。

  6. Lambda 関数の実行ロールの IAM コンソールの [概要] ページで、[ロールの削除] を選択します。

  7. ロールの削除ダイアログボックスで、[はい、削除します] をクリックします。

Lambda 関数を削除する

  1. AWS Lambda コンソール (https://console.aws.amazon.com/lambda/) で、左のナビゲーションペインの関数を選択します。

  2. ステップ 4 で作成した関数名の左にあるチェックボックスを選択します (例、tutorial-object-lambda-function)。

  3. [アクション] を選択し、[削除] を選択します。

  4. [関数の削除] ダイアログボックスで、[削除] を選択します。

CloudWatch Logs グループを削除する

  1. CloudWatch コンソール (https://console.aws.amazon.com/cloudwatch/) を開きます。

  2. 左側のナビゲーションペインで、[ロググループ] をクリックします。

  3. ステップ 4 で作成した Lambda 関数で終わる名前のロググループを検索します(例、tutorial-object-lambda-function)。

  4. ロググループの名前の左にあるチェックボックスを選択します。

  5. [アクション] を選択してから、[ロググループの削除] を選択します。

  6. [ロググループの削除] ダイアログボックスで、[削除] をクリックします。

S3 ソースバケットの元のファイルを削除する

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左側のナビゲーションペインで、[バケット] を選択します。

  3. バケット名] リストで、ステップ 2 で元のファイルをアップロードしたバケットの名前を選択します(例、tutorial-bucket)。

  4. 削除するオブジェクトの名前の左にあるチェックボックスを選択します (例、tutorial.txt)。

  5. [削除] を選択します。

  6. [オブジェクトの削除] ページの [オブジェクトを完全に削除しますか?] セクションで、テキストボックスに「permanently delete」と入力して、このオブジェクトを削除することを確認します。

  7. [オブジェクトの削除] を選択します。

S3 ソースバケットを削除する

  1. AWS Management Console にサインインし、Amazon S3 コンソール (https://console.aws.amazon.com/s3/) を開きます。

  2. 左側のナビゲーションペインで、[バケット] を選択します。

  3. [バケット] リストで、ステップ 1 で作成したバケットの名前の横にあるラジオボタンを選択します (例、tutorial-bucket)。

  4. [削除] を選択します。

  5. [バケットを削除する] ページで、テキストフィールドにバケット名を入力することでバケットを削除することを確認し、[バケットを削除する] を選択します。

IAM ロールを削除する

  1. AWS Management Console にサインインして、IAM コンソール (https://console.aws.amazon.com/iam/) を開きます。

  2. 左のナビゲーションペインで、[ユーザー] を選択し、削除するユーザー名の横にあるチェックボックスを選択します。

  3. ページの上部で、[削除] を選択します。

  4. [ユーザー名を削除しますか?] ダイアログボックスで、テキスト入力フィールドにユーザー名を入力し、ユーザーの削除を確認します。[削除] を選択します。

次のステップ

このチュートリアルを完了すると、ユースケースの Lambda 関数をカスタマイズし、標準 S3 GET リクエストによって返されるデータを変更できます。

S3 Object Lambda の一般的なユースケースを以下に示します。

S3 Object Lambda, の詳細については、「S3 Object Lambda を使用したオブジェクトの変換」を参照してください。