翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Lambda を使用してファイルをサーバーレスで処理する

ファイル処理ワークフローは、多くの場合、NFS または SMB ファイル共有に到着するファイルから始まります。ブランチオフィスからスキャンされたドキュメント、フィールドチームによってアップロードされたイメージ、コンタクトセンターからキャプチャされたオーディオ、またはパートナーが配信したデータファイルです。

Amazon S3 アクセスポイントを FSx for ONTAP ボリュームにアタッチすると、 AWS Lambda 関数は Amazon S3 API を使用してファイルを直接読み書きします。ファイルレベルのオペレーションは、ユーザーとアプリケーションが NFS と SMB 経由でアクセスするのと同じデータに対してサーバーレスで処理できます。

このチュートリアルでは、3 つの一般的なファイル処理パターンを示します。各例では、アクセスポイントを介してボリュームからファイルを読み取り、 AWS サービスまたはライブラリで処理して、結果をボリュームに書き込みます。

前提条件

作業を開始する前に、次の項目があることを確認します。

ステップ 1: サンプルファイルをアップロードする

次のサンプルファイルをダウンロードし、アクセスポイントを介して FSx for ONTAP ボリュームにアップロードします。このチュートリアル全体で、 をアクセスポイントエイリアスmy-ap-alias-ext-s3aliasに置き換えます。

サンプルファイルをアクセスポイント経由で FSx for ONTAP ボリュームにアップロードします。

$ aws s3 cp sample-image.jpg s3://my-ap-alias-ext-s3alias/samples/images/sample-image.jpg
aws s3 cp sample-audio.mp3 s3://my-ap-alias-ext-s3alias/samples/audio/sample-audio.mp3

ステップ 2: Lambda 実行ロールを作成する

Lambda 関数は、他の関数とやり取りするための実行ロールを引き受けます AWS のサービス。このチュートリアルでは、CloudWatch Logs ログ記録用の AWSマネージドAWSLambdaBasicExecutionRoleポリシーをアタッチし、Amazon S3 アクセスポイントと、例が使用する Textract API と Transcribe APIs へのアクセスを許可するインラインポリシーを追加します。

ワークフローへの統合

このチュートリアルの例では、テストイベントで手動呼び出しを使用します。本番環境では、以下のアプローチを使用してこれらの関数を自動的にトリガーできます。

例 1: イメージサムネイルを生成する

この例では、FSx for ONTAP ボリュームから JPEG イメージを読み取り、Pillow イメージライブラリを使用して 200 ピクセルのサムネイルにサイズ変更し、サムネイルをボリュームに書き込みます。

Lambda 関数コード

次のコードを として保存しますlambda_function.py。

import boto3
from io import BytesIO
from PIL import Image

s3 = boto3.client('s3')

def lambda_handler(event, context):
    bucket = event['access_point_alias']
    key = event['key']

    # Read the image from FSx through the access point
    response = s3.get_object(Bucket=bucket, Key=key)
    image_data = response['Body'].read()

    # Resize to thumbnail
    img = Image.open(BytesIO(image_data))
    img.thumbnail((200, 200))

    # Write the thumbnail back to FSx
    buffer = BytesIO()
    img.save(buffer, format='JPEG', quality=85)
    buffer.seek(0)

    thumbnail_key = key.rsplit('.', 1)[0] + '_thumbnail.jpg'
    s3.put_object(
        Bucket=bucket,
        Key=thumbnail_key,
        Body=buffer.getvalue(),
        ContentType='image/jpeg'
    )

    return {
        'original_size': len(image_data),
        'thumbnail_size': len(buffer.getvalue()),
        'thumbnail_key': thumbnail_key
    }

関数を作成して呼び出す

この関数には Pillow ライブラリが必要です。Lambda Linux ランタイム用に構築された Pillow を含むデプロイパッケージを作成します。

$ # Create a deployment package with Pillow for Lambda (Linux)
mkdir package && pip install Pillow -t package/ \
    --platform manylinux2014_x86_64 --only-binary=:all:
cd package && zip -r ../thumbnail-function.zip .
cd .. && zip thumbnail-function.zip lambda_function.py

# Create the function
aws lambda create-function \
    --function-name fsxn-thumbnail-generator \
    --runtime python3.12 \
    --handler lambda_function.lambda_handler \
    --role arn:aws:iam::account-id:role/fsxn-lambda-file-processor \
    --zip-file fileb://thumbnail-function.zip \
    --timeout 30 \
    --memory-size 256

# Invoke with a test event
aws lambda invoke \
    --function-name fsxn-thumbnail-generator \
    --cli-binary-format raw-in-base64-out \
    --payload '{"access_point_alias": "my-ap-alias-ext-s3alias", "key": "samples/images/sample-image.jpg"}' \
    response.json

cat response.json

結果を確認する

$ aws s3 ls s3://my-ap-alias-ext-s3alias/samples/images/
2024-01-23 12:19:32    2566770 sample-image.jpg
2024-01-23 12:25:49       7065 sample-image_thumbnail.jpg

元の 2.4 MB イメージ (5400 x 2700 ピクセル) は、7 KB のサムネイル (200 x 100 ピクセル) にサイズ変更されました。

例 2: ドキュメントからテキストを抽出する

この例では、FSx for ONTAP ボリュームから PDF ドキュメントを読み取り、Amazon Textract に送信してテキストを抽出し、抽出したテキストを JSON ファイルとしてボリュームに書き込みます。

サンプル PDF を作成してアップロードする

この例では、FSx for ONTAP ボリュームに PDF ドキュメントが必要です。次の Python スクリプトは、シンプルな請求書 PDF を生成し、アクセスポイントを介してアップロードします。このスクリプトをローカルマシン (Lambda ではない) で実行します。

$ pip install fpdf2 boto3

# create_invoice.py — run locally to generate and upload a sample PDF
from fpdf import FPDF
import boto3

pdf = FPDF()
pdf.add_page()
pdf.set_font("Helvetica", "B", 24)
pdf.cell(0, 15, "INVOICE", new_x="LMARGIN", new_y="NEXT", align="C")
pdf.set_font("Helvetica", "", 12)
pdf.cell(0, 8, "Invoice Number: INV-2024-00142", new_x="LMARGIN", new_y="NEXT")
pdf.cell(0, 8, "Date: January 15, 2024", new_x="LMARGIN", new_y="NEXT")
pdf.cell(0, 8, "Customer: Example Corp", new_x="LMARGIN", new_y="NEXT")
pdf.ln(5)
pdf.set_font("Helvetica", "B", 12)
pdf.cell(80, 8, "Description", border=1)
pdf.cell(30, 8, "Qty", border=1, align="C")
pdf.cell(40, 8, "Unit Price", border=1, align="R")
pdf.cell(40, 8, "Amount", border=1, align="R")
pdf.ln()
pdf.set_font("Helvetica", "", 12)
for desc, qty, price, amt in [
    ("Cloud Storage Service", "1", "$2,400.00", "$2,400.00"),
    ("Data Transfer (TB)", "5", "$90.00", "$450.00"),
    ("Technical Support", "1", "$500.00", "$500.00"),
]:
    pdf.cell(80, 8, desc, border=1)
    pdf.cell(30, 8, qty, border=1, align="C")
    pdf.cell(40, 8, price, border=1, align="R")
    pdf.cell(40, 8, amt, border=1, align="R")
    pdf.ln()

s3 = boto3.client('s3')
s3.put_object(
    Bucket='my-ap-alias-ext-s3alias',
    Key='samples/documents/invoice.pdf',
    Body=pdf.output(),
    ContentType='application/pdf'
)
print("Uploaded invoice.pdf")

$ python3 create_invoice.py

Lambda 関数コード

次のコードを として保存しますlambda_function.py。

import boto3
import json

s3 = boto3.client('s3')
textract = boto3.client('textract')

def lambda_handler(event, context):
    bucket = event['access_point_alias']
    key = event['key']

    # Read the PDF from FSx through the access point
    response = s3.get_object(Bucket=bucket, Key=key)
    document_bytes = response['Body'].read()

    # Extract text with Textract
    textract_response = textract.detect_document_text(
        Document={'Bytes': document_bytes}
    )

    lines = [
        block['Text']
        for block in textract_response['Blocks']
        if block['BlockType'] == 'LINE'
    ]

    # Write extracted text as JSON back to FSx
    result = {
        'source_file': key,
        'total_lines': len(lines),
        'extracted_text': lines
    }

    output_key = key.rsplit('.', 1)[0] + '_extracted.json'
    s3.put_object(
        Bucket=bucket,
        Key=output_key,
        Body=json.dumps(result, indent=2),
        ContentType='application/json'
    )

    return {
        'lines_extracted': len(lines),
        'output_key': output_key
    }

関数を作成して呼び出す

$ zip textract-function.zip lambda_function.py

aws lambda create-function \
    --function-name fsxn-text-extractor \
    --runtime python3.12 \
    --handler lambda_function.lambda_handler \
    --role arn:aws:iam::account-id:role/fsxn-lambda-file-processor \
    --zip-file fileb://textract-function.zip \
    --timeout 30 \
    --memory-size 256

aws lambda invoke \
    --function-name fsxn-text-extractor \
    --cli-binary-format raw-in-base64-out \
    --payload '{"access_point_alias": "my-ap-alias-ext-s3alias", "key": "samples/documents/invoice.pdf"}' \
    response.json

cat response.json

出力の例:

{"lines_extracted": 22, "output_key": "samples/documents/invoice_extracted.json"}

例 3: オーディオファイルの文字起こし

この例では、FSx for ONTAP ボリュームに保存されているオーディオファイルの Amazon Transcribe ジョブを開始します。Amazon Transcribe は、メディアファイル URI のアクセスポイントエイリアスを使用して、アクセスポイントから直接オーディオファイルを読み取ります。ジョブが完了すると、関数はトランスクリプトをボリュームに書き込みます。

Lambda 関数コード

次のコードを として保存しますlambda_function.py。

import boto3
import json
import time
import urllib.request

s3 = boto3.client('s3')
transcribe = boto3.client('transcribe')

def lambda_handler(event, context):
    bucket = event['access_point_alias']
    key = event['key']
    media_format = key.rsplit('.', 1)[-1]  # mp3, wav, etc.

    # Start a Transcribe job pointing to the file on FSx
    job_name = f"fsxn-{int(time.time())}"
    transcribe.start_transcription_job(
        TranscriptionJobName=job_name,
        Media={'MediaFileUri': f's3://{bucket}/{key}'},
        MediaFormat=media_format,
        LanguageCode='en-US'
    )

    # Wait for the job to complete
    while True:
        status = transcribe.get_transcription_job(
            TranscriptionJobName=job_name
        )
        state = status['TranscriptionJob']['TranscriptionJobStatus']
        if state in ('COMPLETED', 'FAILED'):
            break
        time.sleep(5)

    if state == 'FAILED':
        raise Exception(
            status['TranscriptionJob'].get('FailureReason', 'Unknown error')
        )

    # Download the transcript
    transcript_uri = status['TranscriptionJob']['Transcript']['TranscriptFileUri']
    with urllib.request.urlopen(transcript_uri) as resp:
        transcript_data = json.loads(resp.read())

    transcript_text = transcript_data['results']['transcripts'][0]['transcript']

    # Write the transcript back to FSx
    result = {
        'source_file': key,
        'job_name': job_name,
        'transcript': transcript_text
    }

    output_key = key.rsplit('.', 1)[0] + '_transcript.json'
    s3.put_object(
        Bucket=bucket,
        Key=output_key,
        Body=json.dumps(result, indent=2),
        ContentType='application/json'
    )

    return {
        'transcript_length': len(transcript_text),
        'output_key': output_key
    }

関数を作成して呼び出す

$ zip transcribe-function.zip lambda_function.py

aws lambda create-function \
    --function-name fsxn-audio-transcriber \
    --runtime python3.12 \
    --handler lambda_function.lambda_handler \
    --role arn:aws:iam::account-id:role/fsxn-lambda-file-processor \
    --zip-file fileb://transcribe-function.zip \
    --timeout 120

aws lambda invoke \
    --function-name fsxn-audio-transcriber \
    --cli-binary-format raw-in-base64-out \
    --payload '{"access_point_alias": "my-ap-alias-ext-s3alias", "key": "samples/audio/sample-audio.mp3"}' \
    --cli-read-timeout 180 \
    response.json

cat response.json

考慮事項

クリーンアップ

継続的な課金を回避するには、このチュートリアルで作成したリソースを削除します。

$ # Delete Lambda functions
aws lambda delete-function --function-name fsxn-thumbnail-generator
aws lambda delete-function --function-name fsxn-text-extractor
aws lambda delete-function --function-name fsxn-audio-transcriber

# Delete the IAM role and policies
aws iam delete-role-policy \
    --role-name fsxn-lambda-file-processor \
    --policy-name fsxn-access-point-policy
aws iam detach-role-policy \
    --role-name fsxn-lambda-file-processor \
    --policy-arn arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole
aws iam delete-role --role-name fsxn-lambda-file-processor

# Delete sample files from your FSx volume
aws s3 rm s3://my-ap-alias-ext-s3alias/samples/ --recursive